UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE · critÉrios ergonÔmicos de bastien e scapin:...

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE TECNOLOGIA

PROGRAMA DE ENGENHARIA DE PRODUÇÃO

AVALIAÇÃO DA USABILIDADE DE INTERFACES WEB SEGUNDO CRITÉRIOS ERGONÔMICOS DE BASTIEN E SCAPIN: PESQUISA COM OS

AMBIENTES VIRTUAIS DE EDUCAÇÃO À DISTÂNCIA AULANET, E-PROINFO E TELEDUC

por

THIAGO ALVES ELIAS DA SILVA

TECNÓLOGO EM PROCESSAMENTO DE DADOS, AESPI, 2000

ENGENHEIRO CIVIL, UFPI, 2005

TESE SUBMETIDA AO PROGRAMA DE ENGENHARIA DE PRODUÇÃO DA UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE COMO PARTE DOS

REQUISITOS NECESSÁRIOS PARA A OBTENÇÃO DO GRAU DE

MESTRE EM CIÊNCIAS EM ENGENHARIA DE PRODUÇÃO

AGOSTO, 2007

© 2007 THIAGO ALVES ELIAS DA SILVA TODOS DIREITOS RESERVADOS.

O autor aqui designado concede ao Programa de Engenharia de Produção da Universidade

Federal do Rio Grande do Norte permissão para reproduzir, distribuir, comunicar ao público, em papel ou meio eletrônico, esta obra, no todo ou em parte, nos termos da Lei.

Assinatura do Autor: ___________________________________________ APROVADO POR: ___________________________________________________________ Profa. Anatália Saraiva Martins Ramos, D.Sc. – Orientadora, Presidente ________________________________________________________________ Prof. Rubens Eugênio Barreto Ramos, D.Sc., Membro Examinador _______________________________________________________________ Prof. Aarão Lyra, D.Sc., Membro Examinador Externo

ii

Divisão de Serviços Técnicos

Catalogação da Publicação na Fonte. UFRN / Biblioteca Central

Zila Mamede

Silva, Thiago Alves Elias da. Avaliação da Usabilidade de Interfaces Web segundo Critérios Ergonômicos de Bastien e Scapin: Pesquisa com os Ambientes Virtuais de Educação à Distância Aulanet, E-Proinfo e Teleduc / Thiago Alves Elias da Silva – Natal, RN, 2007. 124f. Orientadora: Anatália Saraiva Martins Ramos Dissertação (Mestrado) – Universidade Federal do Rio Grande do Norte. Centro de Tecnologia. Programa de Pós-graduação em Engenharia da Produção. 1. Usabilidade. 2. Ambiente virtual de aprendizagem. 3. Interfaces de

usuário. 4. Critérios ergonômicos. I. Ramos, Anatália Saraiva Martins.II. Título.

RN/UF/BCZM CDU 65.015.11(043.3)

iii

CURRICULUM VITAE RESUMIDO

Thiago Alves Elias da Silva é formado em Tecnologia em Processamento de Dados pela

Faculdade Piauiense de Processamento de Dados no ano de 2000 e em Engenharia Civil

pela Universidade Federal do Piauí no ano de 2005. Participou do curso de Especialização

em Análise de Sistemas pela Universidade Estadual do Piauí no ano de 2002. Trabalha

desde 2001 no Centro Federal de Educação Tecnológica do Piauí como professor dos

cursos da área de Informática, sendo os dois primeiros anos como professor substituto e, a

partir de abril de 2003, como professor efetivo desta instituição. Atualmente ministra as

disciplinas Introdução a Banco de Dados, Projeto de Banco de Dados e Interação Humano-

computador para os cursos de Tecnologia em Sistemas de Informação e Tecnologia em

Análise e Desenvolvimento de Software.

iv

Aos meus pais, Edvaldo Elias da Silva e Maria Lúcia Alves da Silva

e às minhas queridas irmãs, Thaline e Thaís.

v

AGRADECIMENTOS

Primeiramente a Deus, pela minha família, meus amigos, pelo meu dia-a-dia e pelas

oportunidades que proporcionaram minha realização pessoal e profissional.

À Universidade Federal do Rio Grande do Norte e ao Programa de Engenharia de

Produção, pela oportunidade de concretização deste trabalho.

À professora Dra. Anatália Saraiva Martins Ramos, pela sua enorme dedicação na

orientação deste trabalho e ao professor Dr. Rubens Eugênio Barreto Ramos, pela grande

ajuda prestada desde os primeiros dias desta jornada.

Ao Centro Federal de Educação Tecnológica do Piauí por ter proporcionado a

oportunidade de galgarmos mais esta etapa na nossa carreira profissional.

Aos colegas de mestrado que se mostraram guerreiros nesta dura caminhada, em

especial, Márcio, Rogério, Edílson, Marcos Teixeira, Socorrinha, Francisco José e Ana

Maria.

Aos alunos e professores do CEFET-PI que participaram e colaboraram com a

pesquisa.

Em especial, aos meus amados pais, pelo incondicional apoio nos momentos mais

difíceis e pelo incentivo nas horas de desânimo e minhas queridas irmãs, Thaline e Thaís,

pelas orações e pela torcida.

vi

Resumo da Tese apresentada à UFRN/PEP como parte dos requisitos necessários para a

obtenção do grau de Mestre em Ciências em Engenharia de Produção

AVALIAÇÃO DA USABILIDADE DE INTERFACES WEB SEGUNDO CRITÉRIOS ERGONÔMICOS DE BASTIEN E SCAPIN: PESQUISA COM OS AMBIENTES VIRTUAIS DE EDUCAÇÃO À DISTÂNCIA AULANET, E-PROINFO E TELEDUC


Agosto/2007 Orientadora: Dra. Anatália Saraiva Martins Ramos Curso: Mestrado em Ciências em Engenharia de Produção

Este trabalho tem dois objetivos: avaliar a usabilidade de três interfaces de ambientes virtuais de educação à distância através de duas técnicas avaliativas e identificar os fatores influenciadores da percepção de usabilidade dos ambientes avaliados. Os sistemas de educação à distância escolhidos foram o AulaNet, o E-Proinfo e o Teleduc, por serem desenvolvidos no Brasil e terem distribuição gratuita. A avaliação da usabilidade foi realizada através de duas técnicas documentadas na literatura. A primeira técnica de avaliação, do tipo preditiva ou diagnóstica, foi realizada pelo autor e um concluinte do curso de Sistemas de Informação do Centro Federal de Educação Tecnológica do estado do Piauí (CEFET-PI), mediante a observação de um checklist denominado Ergolist. A segunda avaliação, do tipo prospectivo, foi efetivada com o usuário sendo o próprio avaliador das interfaces, através de um questionário. A amostra foi composta de 15 professores e 15 alunos do CEFET-PI. Os resultados colhidos foram analisados a partir da estatística descritiva e testes de chi-quadrado. Os resultados mostraram que os ambientes apresentarem problemas de adaptabilidade, pois não possuem flexibilidade e nem levam em consideração a experiência do usuário. Na análise inferencial, foi constatado que o ‘tempo de uso da Internet’ não afetou significativamente sua avaliação da usabilidade dos três ambientes, assim como na maior parte das variáveis de ‘usabilidade’ não foram influenciadas pelo ‘tipo de usuário’, ‘sexo’ e ‘escolaridade’. Por outro lado, em vários dos critérios ergonômicos avaliados, as variáveis de sistema ‘tipo de ambiente’ e ‘experiência com computador’ e a variável demográfica ‘faixa etária’ afetaram a percepção de usabilidade dos ambientes virtuais de educação à distância.

vii

Abstract of Master Thesis presented to UFRN/PEP as fullfilment of requirements to the

degree of Master of Science in Production Engineering

EVALUATING USABILITY OF WEB INTERFACES USING BASTIEN AND

SCAPIN ERGONOMIC CRITERIA: A STUDY ON THE OPEN SOURCE E-

LEARNING PLATFORMS AULANET, E-PROINFO AND TELEDUC


Agosto/2006

Thesis Supervisor : Dra. Anatália Saraiva Martins Ramos

Program : Master of Science in Production Engineering

This work has two aims: to evaluate the usability of three virtual environment interfaces of distance education through two evaluation techniques and to identify to the factors influencing the perception of systems usability. The chosen e-learning systems were AulaNet, E-Proinfo and Teleduc, because its Brazilian development and free distribution. The research was conducted through two usability techniques based in literature. The first technique of evaluation was predictive and was carried through by the author and Information Systems veteran student of the Federal Center of Technological Education of the state of Piauí (CEFET-PI), using a checklist called Ergolist. The second evaluation was prospective type and was accomplished with the user having been the proper appraiser of the interfaces, through a questionnaire. The sample was composed of 15 teachers and 15 students of the CEFET-PI. The data had been analyzed from the descriptive statistics and chi-square test. Findings are that the systems have adaptability problems, therefore the flexibility is poor and nor take in consideration the experience of the user. In the inferencial analysis, it was evidenced that `time of use of the Internet' did not affect significantly its evaluation of the usability of three e-learning systems, as well as the most variable of ùsability' seems not been influenced by `type of user', `sex' and èducation level. On the other hand, in several of the evaluated ergonomic criteria, the `type of environment' system variables and èxperience with computer' and the àge' demographic variable affected the perception of usability of virtual environments of distance education.

viii

SUMÁRIO

CAPÍTULO 1 - INTRODUÇÃO .....................................................................................1

1.1 Contextualização ....................................................................................................1

1.2 Objetivos.................................................................................................................3

1.3 Relevância ..............................................................................................................4

1.4 Estrutura da Dissertação .......................................................................................4

CAPÍTULO 2 - - REFERENCIAL TEÓRICO ..............................................................6

2.1 Educação à Distância .............................................................................................6

2.1.1 Ambientes Virtuais de Aprendizagem .............................................................11

2.1.1.1 Aulanet .................................................................................................................... 12

2.1.1.2 E-Proinfo ................................................................................................................. 14

2.1.1.3 Teleduc .................................................................................................................... 17

2.2 Interface humano-computador............................................................................19

2.3 Ergonomia e Usabilidade .....................................................................................21

2.3.1 Critérios Ergonômicos.....................................................................................23

2.3.1.1 Condução................................................................................................................. 24

2.3.1.2 Carga de Trabalho ................................................................................................... 26

2.3.1.3 Controle Explícito ................................................................................................... 28

2.3.1.4 Adaptabilidade......................................................................................................... 28

2.3.1.5 Gestão de Erros ....................................................................................................... 29

2.3.1.6 Consistência............................................................................................................. 30

2.3.1.7 Significado dos Códigos e Denominações .............................................................. 31

2.3.1.8 Compatibilidade ...................................................................................................... 31

2.3.2 Avaliação de Usabilidade de interfaces............................................................32

2.3.2.1 Técnicas Preditivas ou Diagnósticas ....................................................................... 35

2.3.2.2 Técnicas Prospectivas.............................................................................................. 39

2. 3.2.3 Técnicas Empíricas................................................................................................. 40

2.3.3 A questão da escolha da técnica de avaliação...................................................42

2.4 Pesquisas relacionadas.........................................................................................44

CAPÍTULO 3 - METODOLOGIA DA PESQUISA.....................................................49

3.1 Classificação da pesquisa .....................................................................................49

3.2 Universo e Amostra..............................................................................................49

3.3 Coleta de dados ....................................................................................................51

ix

Fase 1: Pesquisa com o Ergolist ...............................................................................51

Fase 2: Pesquisa com os usuários .............................................................................52

3.4 Análise dos dados .................................................................................................56

CAPÍTULO 4 - ANÁLISE E DISCUSSÃO DOS RESULTADOS ..............................58

4.1 Avaliação diagnóstica pelo Ergolist.....................................................................58

4.2 Avaliação da usabilidade segundo os usuários....................................................63

4.2.1 Perfil da amostra .............................................................................................63

4.2.2 Análise descritiva da usabilidade dos ambientes ..............................................66

4.2.3 Fatores influenciadores da avaliação de usabilidade.........................................73

4.2.3.1 Efeito do tipo de ambiente virtual avaliado na percepção de usabilidade............... 73

4.2.3.2 Efeito do gênero na percepção de usabilidade......................................................... 74

4.2.3.3 Efeito da faixa etária na percepção de usabilidade.................................................. 74

4.2.3.4 Efeito da escolaridade na percepção de usabilidade................................................ 75

4.2.3.5 Efeito da experiência com computador na percepção de usabilidade ..................... 76

4.2.3.6 Efeito do tempo de uso da internet na percepção de usabilidade ............................ 77

4.2.3.7 Efeito do tipo de usuário na percepção de usabilidade............................................ 78

4.3 Comparação qualitativa entre as técnicas de avaliação utilizadas.....................80

CAPÍTULO 5 - CONCLUSÕES E RECOMENDAÇÕES...........................................83

5.1 Principais conclusões ...........................................................................................83

5.2 Implicações teóricas e gerenciais .........................................................................84

5.3 Limitações do Trabalho .......................................................................................85

5.4 Direções da Pesquisa ............................................................................................85

REFERÊNCIAS ............................................................................................................86

ANEXOS ........................................................................................................................95

Ergolist .......................................................................................................................96

Atividades do Aluno.................................................................................................105

Atividades do Professor ...........................................................................................106

Questionário.............................................................................................................108

x

LISTA DE FIGURAS

Figura 1: Tela inicial do ambiente Aulanet.......................................................................14

Figura 2: Tela Inicial do Ambiente e-Proinfo ...................................................................16

Figura 3: Arquitetura básica do ambiente TelEduc...........................................................17

Figura 4: Tela Inicial do Ambiente Teleduc .....................................................................18

Figura 5: Modelo Estrela desenvolvido por Hix e Hartson (1993) ....................................32

Figura 6: Análise das conformidades de usabilidade do ambiente Aulanet .......................58

Figura 7: Análise das conformidades de usabilidade do ambiente eProinfo ......................60

Figura 8: Análise das conformidades de usabilidade do ambiente Teleduc .......................61

Figura 9: Comparativo de conformidade de todos os critérios do Ergolist em relação aos

três ambientes ..........................................................................................................61

Figura 10: Comparativo de conformidade das variáveis agrupadas em relação aos três

ambientes.................................................................................................................63

Figura 11: Perfil da amostra por gênero ...........................................................................64

Figura 12: Perfil da amostra a partir da faixa etária ..........................................................64

Figura 13: Perfil da amostra a partir da escolaridade ........................................................65

Figura 14: Perfil da amostra a partir da experiência com computador...............................65

Figura 15: Perfil da amostra a partir do tempo de uso da internet .....................................66

Figura 16: Grau de concordância das variáveis de usabilidade em relação ao ambiente

AulaNet ...................................................................................................................67


eProinfo ...................................................................................................................68


TelEduc ...................................................................................................................69

Figura 19: Comparativo entre os graus de concordância das variáveis de usabilidade para

os três ambientes......................................................................................................70

Figura 20: Comparativo entre os graus de concordância das variáveis de usabilidade

agrupadas para os três ambientes..............................................................................71

xi

LISTA DE TABELAS

Tabela 1: Critérios Ergonômicos de Bastien e Scapin.......................................................24

Tabela 2: Classificação das Técnicas de Avaliação de Usabilidade (Cybis, 2003) ............42

Tabela 3: Vantagens e desvantagens das técnicas de avaliação de usabilidade..................43

Tabela 4: Comparação entre métodos de avaliação de Usabilidade...................................44

Tabela 5: Afirmações do questionário referente a cada um dos critérios ergonômicos de

Bastien e Scapin.......................................................................................................55

Tabela 6: Variáveis de agrupamento e de usabilidade.......................................................56

Tabela 7: Efeitos da variável Ambiente sobre as variáveis de usabilidade ........................73

Tabela 8: Efeitos da variável Sexo sobre as variáveis de usabilidade................................74

Tabela 9: Efeitos da variável Faixa etária sobre as variáveis de usabilidade .....................75

Tabela 10: Efeitos da variável Escolaridade sobre as variáveis de usabilidade..................76

Tabela 11: Efeitos da variável Experiência computacional sobre variáveis de usabilidade 77

Tabela 12: Efeitos da variável Tempo de uso da Internet sobre variáveis de usabilidade ..78

Tabela 13: Efeitos da variável Tipo de usuário sobre as variáveis de usabilidade .............78

Tabela 14: Resumo do efeito das variáveis moderadoras sobre variáveis de usabilidade...79

Tabela 15: Alinhamento entre as avaliações com e sem a participação do usuário ............81

1

Capítulo 1 - Introdução

Este capítulo apresenta uma contextualização sobre o tema da educação à distância,

o surgimento dos ambientes virtuais de apoio à educação à distância baseados na Internet e

a preocupação de propor uma metodologia para avaliar as interfaces de tais ambientes.

Aborda os objetivos da pesquisa e a relevância do trabalho, sob os pontos de vista teórico e

prático. Mostra, ainda, a forma como está organizada a dissertação.

1.1 Contextualização

A educação à distância (EAD) surgiu para solucionar o problema de pessoas que

não podiam acompanhar cursos regulares ou presenciais por motivos geográficos ou de

tempo. Segundo Ramal (2001, p.12), com a EAD, são vencidos muitos fatores da exclusão

educacional, pois, “em vez de ser necessário construir edifícios e contratar professores para

os novos alunos, bastam alguns equipamentos em telepostos para ampliar o acesso ao

conhecimento, e pessoas de qualquer ponto do país poderem ingressar nos cursos que mais

lhes interessarem”. A educação a distância veio, assim, para proporcionar a disseminação

do conhecimento, mesmo para aqueles que não se encontravam próximos dos

educadores/professores ou não possuíam tempo para freqüentar uma sala de aula

convencional com datas e horários pré-estabelecidos.

No Brasil, a Educação à distância engloba aulas pela internet, televisão, rádio, CD,

DVD, videoconferência, correspondência, entre outros. Segundo dados do Anuário

Brasileiro Estatístico de Educação Aberta e a Distância (Abraead/2007), publicado pela

ABED (Associação Brasileira de Educação a Distância) e pelo Instituto Monitor e lançado

em abril de 2007, há 125 instituições que oferecem aulas à distância. Esse levantamento

mostrou que um em cada 80 brasileiros estudou por EAD no ano passado, seja em cursos

de graduação, de pós-graduação lato sensu, educação corporativa ou nos inúmeros projetos

existentes voltados para a capacitação de pequenos e médios empresários. O Brasil bateu a

marca de 2,279 milhões de estudantes matriculados neste universo (Porto, 2007). Em todo

o Brasil, são 889 os cursos à distância autorizados pelo Ministério da Educação e pelos

conselhos estaduais de educação. Entre alunos só de graduação e pós-graduação o aumento

2

foi de 91%, segundo o anuário. Em 2005, eram 300.826 alunos em cursos desse tipo e em

2006, 575.709 (Brito, 2007).

Quanto ao meio de estudo durante as aulas de EAD, os materiais impressos são o

principal meio de estudo de alunos de cursos à distância no Brasil durante as aulas. As

tradicionais apostilas são o recurso mais utilizado por 40% das escolas de ensino à

distância credenciadas no Ministério da Educação (MEC) ou nos conselhos estaduais de

educação. O e-learning (ensino pela internet) fica em segundo lugar, e é usado como

principal método por 29% das instituições (Bassete, 2007). Outro dado que chama a

atenção no anuário 2007 é que apesar de o papel ainda ser o principal meio de ensino de

educação à distância no país, o e-mail é o instrumento mais utilizado para tirar dúvidas dos

estudantes.

A educação à distância que, antes era tão somente através do envio de apostilas e

manuais pelo correio, hoje possui a internet como mais uma ferramenta facilitadora. A

Internet propicia a troca de experiências, de dúvidas, de materiais, tanto de quem está perto

como longe geograficamente.

Para Porto (2007), as empresas também descobriram o e-learning e hoje levam 1,5

milhão de profissionais de volta às salas de aula – desta vez, virtuais –, provocando um

crescimento nas atividades de EAD, favorecidas pela alta informatização do ambiente

corporativo: aproximadamente 1.200%, desde 1999.

A conseqüência natural de todo esse avanço é o surgimento, cada vez maior, de

ambientes virtuais dedicados exclusivamente ao apoio à educação à distância. Diversas

empresas/Instituições brasileiras, ao longo dos últimos anos, têm desenvolvido ambientes

virtuais com o objetivo de reunir o maior número de ferramentas que auxilie no processo

de ensino-aprendizagem.

Apesar desse grande avanço no desenvolvimento de ambientes virtuais de educação

à distância no Brasil, pouco se tem feito para avaliá-los no tocante à qualidade de suas

interfaces. É necessário analisar ou criar interfaces mais amigáveis que permitam ao

usuário uma melhor navegabilidade no sistema, bem como uma melhor comunicação entre

software e usuário.

A preocupação com o desenvolvimento de software não deveria ser apenas técnica,

ou seja, focar-se apenas na construção de procedimentos que realizem as tarefas propostas,

mas também incluir fatores humanos no desenvolvimento e melhoria do software. Por

exemplo, observar a forma com que os dados manipulados são apresentados para os

usuários, de que maneira a estrutura do software ajuda na realização de uma tarefa por

3

parte do usuário, dentre tantas outras preocupações que colocam o usuário do sistema

como centro das atenções. A disciplina Interação humano-computador (IHC) é uma área

multidisciplinar que envolve disciplinas como Ciência da Computação, Psicologia

Cognitiva, Engenharia, Design, Ergonomia, Psicologia Social e Organizacional, entre

outras, e tem contribuído para a eficácia desta tarefa.

Para se conseguir atingir esse grau de qualidade de software, é necessário realizar

testes de usabilidade. Nesses testes, serão levados em consideração também os anseios dos

usuários e as impressões causadas pelo sistema. Serão colhidas informações que servirão

de base para o desenvolvimento ou melhoramento das interfaces dos softwares em questão.

Contudo, grande parte dos desenvolvedores de software ainda dá pouca importância

ao processo de avaliação de usabilidade das interfaces. O custo é uma das principais causas

desta falta de interesse. As avaliações, muitas vezes, consomem muito tempo e altos custos

para a sua realização. Além do custo, o alto grau de complexidade do processo também

desmotiva a sua realização. Muitas vezes, é necessária a participação de profissionais

especialistas em usabilidade para conduzirem a avaliação.

Assim, faz-se necessária a aplicação de métodos capazes de reduzir os entraves que

impedem a popularização da avaliação de usabilidade das interfaces. Por isso, à luz desse

contexto, a presente pesquisa busca avaliar a usabilidade de interfaces, levando em

consideração a adoção de ferramentas mais simples e baratas de avaliação. Uma vez

melhorando a usabilidade de ambientes de ensino-aprendizagem, é possível ser melhorada

a qualidade do software.

1.2 Objetivos

O presente trabalho objetiva:

a) Avaliar a usabilidade de interfaces dos ambientes virtuais de educação à

distância desenvolvidos no Brasil e com distribuição gratuita, segundo os critérios

ergonômicos de Bastien e Scapin.

b) Identificar se as variáveis de controle tipo de ambiente (Aulanet, E-proinfo,

Teleduc), tipo de usuário (professor ou aluno), sexo, faixa etária, escolaridade,

experiência (com computador e Internet) influenciam na avaliação da usabilidade.

4

1.3 Relevância

O trabalho está inserido, na Engenharia de Produção, na área de Ergonomia e

Higiene e Segurança do Trabalho. Dentro desta área, a pesquisa se enquadra mais

especificamente na sub-área Ergonomia Cognitiva (Software). No Programa de Pós-

graduação em Engenharia de Produção, está associada à área de concentração Gestão e

Inovação, na linha de pesquisa Ergonomia.

A pesquisa bibliográfica mostrou que há escassez de trabalhos sobre avaliação das

interfaces dos ambientes virtuais de educação à distância no Brasil. Esse estudo pretende

preencher esta lacuna, particularmente quanto à avaliação da usabilidade dos ambientes

virtuais gratuitos de educação à distância atualmente existentes no país. Essa avaliação está

diretamente relacionada com a qualidade do software, uma vez que a interação usuário-

sistema influencia diretamente no aproveitamento do usuário durante a sua imersão no

ambiente. Academicamente, o trabalha colabora para o avanço do conhecimento em

Interação Humano-computador (IHC), especificamente em usabilidade de interfaces web.

Em termos de relevância prática, o estudo poderá contribuir para o aprimoramento

de novos ambientes virtuais de educação à distância, bem como o melhoramento das

interfaces daqueles que já se encontram em utilização no país. Além disso, servirá como

ferramenta de comparação, no tocante à usabilidade, entre os ambientes gratuitos já

desenvolvidos e em uso no Brasil.

Outro ponto importante está no campo social. Sabe-se que o grande objetivo do

programa de educação à distância é levar o ensino àquelas pessoas impossibilitadas de

freqüentar uma sala de aula convencional, seja por motivo de tempo ou espaço. A partir

deste trabalho, com o melhoramento das interfaces dos ambientes que hoje se encontram

disponíveis, poderá haver um maior aproveitamento do processo de ensino-aprendizagem,

uma vez que o software/ambiente deixará de ser um entrave no processo e passará a ser um

facilitador. Assim, mais pessoas de diferentes realidades sociais, poderão ser incluídas no

processo de educação à distância, desde que equacionados os problemas da exclusão

digital.

1.4 Estrutura da Dissertação

O trabalho está dividido em cinco capítulos. O primeiro apresenta esta introdução;

o segundo capítulo é formado pelo embasamento teórico, no qual se fundamenta através da

5

literatura, os conceitos e histórico da educação à distância, ambientes virtuais de educação

à distância, os conceitos de usabilidade e ergonomia de software, avaliação de usabilidade

e as técnicas utilizadas para a avaliação de usabilidade de interfaces. O terceiro capítulo

apresenta a metodologia utilizada durante a execução da pesquisa, o que inclui a

classificação da pesquisa, o universo e amostra da pesquisa e a técnica de coleta e análise

dos dados. O quarto capítulo mostra os resultados com as análises e interpretação das duas

pesquisas de campo: a avaliação preditiva e a pesquisa com os usuários. O quinto capítulo

é composto pelas conclusões finais, as recomendações relacionadas ao trabalho, as

limitações da pesquisa e as indicações para estudos futuros.

6

Capítulo 2 - - Referencial Teórico

Este capítulo apresenta a fundamentação teórica que discute o conceito e o histórico

da educação à distância, define ambientes virtuais de educação à distância e descreve as

plataformas AulaNet, E-ProInfo e o Teleduc, objetos de investigação do presente trabalho.

No segundo bloco, expõe os conceitos de interface, ergonomia de software, critérios

ergonômicos, usabilidade e técnicas de avaliação de usabilidade com suas respectivas

classificações. Finaliza com a revisão da literatura, destacando os principais trabalhos

acadêmicos nesta área.

2.1 Educação à Distância

Existe uma divergência entre os autores quanto à data de surgimento da educação à

distância (EAD). Relatos remontam a origem da EaD deste as cartas e transcrições escritas

dos ensinamentos proferidos oralmente por Platão, na Grécia Antiga, passando pelas

experiências de ensino por correspondência, que começaram a se formalizar no século

XVIII, nos Estados Unidos (Schneider, 1999). Conforme Alves (2003), a EAD começou

no século XV quando Johannes Guttenberg inventou a imprensa, com composição de

palavras com caracteres móveis. Com a criação, tornou-se desnecessário ir às escolas para

assistir o venerando mestre ler, na frente de seus discípulos, o raro livro copiado. Já para

Loyolla e Prates (1998), o primeiro curso por correspondência ocorrera no final do século

XIX. Segundo Alves (2003), tem-se notícias das primeiras experiências pioneira de EAD

na Inglaterra, em 1840; na Alemanha, foi implementado em 1856; nos Estados Unidos,

notou-se o ensino por correspondência em 1874 e a Suécia registra a primeira experiência

no campo da EAD, em 1883.

O quadro 1 apresenta os principais acontecimentos que caracterizam a história da

EaD, segundo os estudos de Aretio (1994, citado por Barcia, Rodrigues Filho e Baraúna,

2000).

7

QUADRO 1 − HISTÓRIA DA EDUCAÇÃO A DISTÂNCIA

DATA ACONTECIMENTO

1728 Gazeta de Boston − material de ensino e tutoria a distância 1833 Suécia − ensino por correspondência 1840 Issac Pitman, um sistema de taquigrafia 1843 Fundação da Phonografic Correspondence Society 1856 Patrocínio da Sociedade de Línguas Modernas − Ensino de francês por Correspondência 1858 Universidade de Londres − ensino por correspondência 1873 Boston − Sociedade para promover o estudo em casa 1883 Nova Iorque − Universidade por correspondência 1891 Chicago, França e Estados Unidos − ensino por correspondência 1894 Inglaterra e Berlim − cursos por correspondência 1897 EUA − surge escola com ensino a distância, a Escola Americana 1898 Suécia − Instituto de Correspondência 1903 Espanha − Escola de Engenheiros 1905 Clavert de Baltimore − escolas primárias a distância 1910 Austrália − temas de educação secundária a distância 1911 Austrália − Universidade de Queensland 1914 Noruega e Alemanha − aulas a distância 1920 Antiga URSS − sistema por correspondência 1922 Escola de Correspondência na Nova Zelândia 1938 Canadá − Primeira Conferência Internacional sobre Educação por Correspondência 1939 França − Centro Nacional de Ensino a Distância 1940 Europa − diversos centros de ensino por correspondência 1946 Universidade do Sul da África 1947 Paris − utilização da Radio Sorbone para aulas 1951 Universidade do Sul da África − maior dedicação aos cursos a distância 1960 China − aulas a distância 1962 Espanha − utilização do rádio para ensino a distância 1963 Espanha − criação de ensino a distância por rádio e televisão França- ensino a distância por rádio 1968 Espanha − Centro Nacional de Ensino Médio a Distância por rádio 1969 Open University Britânica − pioneira no ensino a distância superior Fonte: Aretio (1994 apud Barcia et al. (2000).

No entanto, o que vale ressaltar é que a educação à distância já existia muito antes

dos avanços tecnológicos encontrados atualmente. Daquela época em diante, a Educação à

Distância foi sendo desenvolvida utilizando-se dos mais variados ferramentais pedagógicos

possíveis, dependendo de fatores tais como: as características da escola e dos professores,

o tipo de curso ministrado, da distribuição geográfica entre escola e alunos e,

8

principalmente, a tecnologia disponível e a relação custo/benefício para o uso da mesma

(Loyolla e Prates, 1998).

Baseando-se em vários autores, Oliveira (2001b) caracteriza a história da educação

à distância em três gerações:

a) A invenção da escrita possibilitou que as pessoas escrevessem o que antes só

podiam dizer e, com isso, a educação à distância foi possível através das cartas e dos

livros. Assim, verifica-se o surgimento da primeira geração de EaD: a educação por

correspondência;

b) No começo dos anos 70, a educação à distância foi caracterizada pelo uso de novas

tecnologias, tais como, a televisão, vídeo-aulas, audiocassetes e sistemas de telefonia, além

do uso do próprio material impresso, com isso caracterizando a segunda geração de EaD.

Os meios tecnológicos disponíveis nessa época são usados apenas para passar a informação

aos aprendizes e não pressupõe nenhum tipo de interação do aluno com os meios que

transmitem a informação;

c) A terceira geração de EaD, na década de 90, é caracterizada pelo uso do

computador, da Internet e dos sistemas de videoconferência, além de incorporar as mídias

anteriores. O surgimento das redes de comunicação, em larga escala, tem permitido a

criação de diversos tipos de ambientes interativos e colaborativos.

A Internet tem se tornado gradativamente um meio comum de troca de

informações, tanto pela sociedade, informalmente, como pelas empresas, pela educação e

para a educação. Pode-se dizer que está em gestação uma mudança de paradigmas no que

se refere à educação à distância.

Antes da Internet, a EaD utilizava apenas tecnologias de comunicação de um-para-

muitos (rádio, TV) ou de um-para-um (educação por correspondência). A Internet oferece

as três possibilidades de comunicação: um-para-muitos, um-para-um e, sobretudo, muitos-

para-muitos. É essa interação ampla que confere à EaD uma maior versatilidade.

A interatividade propiciada pelo uso da Internet permite maior individualização do

processo educativo, propiciando uma educação à distância com qualidade, mesmo em

regiões remotas. Além disso, tem facilitado o compartilhamento de recursos de ensino

entre instituições com interesses e quadros complementares. Com a disseminação do uso

da Internet, tem sido possível ampliar as possibilidades de educação continuada, ao

permitir o estudo em casa ou no trabalho, em qualquer lugar, independente do horário

(Oliveira, 2001b).

9

Landim (1997), citado por Cordeiro (2000), analisando 21 conceitos e definições

sobre educação à distância, formuladas entre 1967 e 1994, pelos mais influentes estudiosos

do assunto, destaca suas principais características:

� Separação física professor-aluno: O docente não está mais presente, mas através

de seu planejamento transmite saberes ao aluno.

� Utilização de meios técnicos: possibilita romper as fronteiras e as distâncias;

� Organização de apoio e tutoria: Tem a finalidade de motivar, apoiar e avaliar

continuamente a aprendizagem da educação;

� Aprendizagem independente e flexível: O aluno tem a autonomia de escolher o

seu tipo de estudo, seu ritmo, estilo e método de aprendizagem;

� Comunicação bidirecional: Possibilidade de um feedback entre docente e

discente;

� Enfoque tecnológico: A educação é otimizada pela tecnologia;

� Comunicação massiva: Possibilita a transmissão das mensagens para grande

número de pessoas eliminando fronteiras, espaços-temporais;

� Procedimentos industriais: Acompanhamento de um grande número de pessoas

dispersas geograficamente com produção e distribuição massiva de materiais e

recursos didáticos.

Para a presente pesquisa, serão considerados elementos fundamentais dos conceitos

de Ensino a Distância a definição de Keegan (1991 apud ANTUNES et al., p.50):

"Separação física entre professor e aluno, que o distingue do presencial; influência da organização educacional (planejamento, sistematização, plano, projeto, organização dirigida, etc.) que a diferencia da educação individual; utilização de meios técnicos de comunicação, usualmente impressos, para unir o professor ao aluno e transmitir os conteúdos educativos; previsão de uma comunicação-diálogo, e da possibilidade de iniciativas de dupla via; possibilidade de encontros ocasionais com propósitos didáticos e de socialização; e participação de uma forma industrializada de educação".

No Brasil, não há registros históricos do surgimento das entidades de EAD

brasileiras, o que dificulta um relato preciso para os estudiosos dessa área (Alves, 2003).

Tentando fazer um resgate da história da educação à distância no Brasil, Nunes (1994)

relata várias experiências inovadoras no campo da educação. Uma das primeiras

experiências universitárias de educação a distância no Brasil foi iniciada pela Universidade

de Brasília-UnB em meados da década de 1970, motivada pelo sucesso da iniciativa da

10

Open University britânica. A iniciativa inovadora da UnB não logrou sucesso, e só pode

ser retomada a partir de 1985, sendo reconhecida como uma instituição inovadora neste

campo de atuação.

Outro marco histórico foi o surgimento, na segunda metade da década de 90, da

Universidade Virtual, entendida como ensino superior a distância com uso de Novas

Tecnologias de Comunicação e Informação (NTIC), em especial a Internet e a

videoconferência.

Uma das instituições pioneiras no EaD no Brasil, a UFSC, através do Laboratório

de Educação a Distância (LED) vem desenvolvendo estratégias e metodologias de EAD

em ambientes multimídias integrados por redes de comunicação, desde 1995 (Martins et al,

2002).

Nos anos de 1999 a 2001, ocorre o surgimento de grandes redes no cenário

nacional. A UNIREDE - Universidade Virtual Pública Brasileira, uma associação de

universidades públicas federais, estaduais e municipais; O CEDERJ, consórcio de

universidades públicas do estado do Rio de Janeiro; A Rede Brasileira de Educação a

Distância (RBED), composta por 10 instituições privadas; O Projeto VEREDAS, em

Minas Gerais, liderado pelo governo estadual e integrado por 18 instituições públicas,

particulares, comunitárias e confessionais; e, a RICESU, formada por instituições católicas

de ensino superior (Portal IG, 2003).

A formação dessas redes foi um passo importante para a integração das variadas

instituições que desenvolvem ações no campo da educação a distância e na divulgação de

inovações desenvolvidas no Brasil e exterior.

Em termos de políticas educacionais governamentais, o Programa Nacional de

Informática na Educação – ProInfo – caracteriza-se pela ação conjunta dos três níveis de

governo (federal, estaduais e municipais) para introdução e consolidação das tecnologias

da informação e da comunicação (TICs) no processo educacional público brasileiro. O

ProInfo foi criado em 1996, marcando uma nova fase da EaD no Brasil.

As bases legais para a modalidade de educação a distância só foram estabelecidas

pela Lei de Diretrizes e Bases da Educação Nacional na última década, através da Lei n.º

9.394, de 20 de dezembro de 1996, que foi regulamentada pelo Decreto n.º 5.622,

publicado no D.O.U. de 20/12/05 (que revogou o Decreto n.º 2.494, de 10 de fevereiro de

1998, e o Decreto n.º 2.561, de 27 de abril de 1998). Sua normatização foi definida pela

Portaria Ministerial n.º 4.361, de 2004 (que revogou a Portaria Ministerial n.º 301, de 07

de abril de 1998).

11

A regulamentação da EaD no Brasil tem evoluído desde então. Em 3 de abril de

2001, a Resolução n.º 1, do Conselho Nacional de Educação, estabeleceu as normas para a

pós-graduação lato e stricto sensu à distância. Em abril de 2003, a Secretaria de Educação

a Distância (SEED) do Ministério da Educação (MEC) divulga os “Referenciais de

Qualidade para Cursos a Distância”, dando um caráter mais amplo a indicadores que

norteiam a ação de credenciamento e recredenciamento de cursos à distância. Isso permitiu

uma base importante para avaliação da qualidade dos cursos a distância oferecidos.

2.1.1 Ambientes Virtuais de Aprendizagem

O uso da internet como ferramenta no processo de educação à distância tem

revolucionado as técnicas de interação entre professor e aluno até então conhecidas. Os

ambientes informáticos que permitem a gestão e a operacionalização de cursos à distância

com ênfase na interatividade são chamados de Ambientes Virtuais de Aprendizagem

(AVA). Para Moraes e Barros (2005), os AVA são sistemas compostos por recursos

tecnológicos - computadores, modem, servidores Web, software etc. - e elementos

humanos (associados, membros, colaboradores, mediadores e programadores). Esses tipos

de ambientes oferecem aos gestores todos os recursos necessários para a confecção e

implementação de cursos.

Na definição de Lopes, um Ambiente Virtual de Educação à Distância é um lugar,

no ciberespaço, acessado por meio de um computador conectado à Internet, que é

previamente desenvolvido e construído para disponibilizar os mais diversos recursos que

promovem o processo de ensino e aprendizagem. Assim, as pessoas podem aprender com o

auxílio de professores, monitores, especialistas e colegas de classe, espalhados em lugares

distintos, e construir novos conhecimentos. Esse espaço permite que as pessoas se

programem e estudem em dias e horários que acharem mais convenientes (Lopes, 2001).

Segundo Santos e Okada (2005, p.5), "os ambientes virtuais de aprendizagem

correspondem ao conjunto de elementos técnicos e principalmente humanos e seu feixe de

relações contido no ciberespaço (Internet) com uma identidade e um contexto específico

criados com a intenção clara do aprendizado”.

Os AVA agregam interfaces que permitem a produção de conteúdos e canais

variados de comunicação, permitem também o gerenciamento de banco de dados e

controle total das informações circuladas no e pelo ambiente. Essas características vêm

12

permitindo que um grande número de sujeitos geograficamente dispersos pelo mundo

possa interagir em tempos e espaços variados. Entretanto alguns AVA ainda assumem

estéticas que tentam simular as clássicas práticas presenciais, utilizando signos e símbolos

comumente utilizados em experiências tradicionais de aprendizagem (Santos e Okada,

2005).

Os ambientes devem ser construídos de forma que possibilitem, por meio de uma

interface, o acesso às diversas áreas existentes, que são responsáveis pelo convívio do

aluno dentro do ambiente, e ainda, permitir que o professor insira novas informações,

alimente determinadas áreas, publique notas, conceitos e dê apoio individualizado e

coletivo aos alunos (Lopes, 2001).

Para maior eficácia de uma ferramenta educativa baseada na web, deve-se, segundo

Lopes (2001), buscar oferecer ao máximo um ambiente que seja familiar ao usuário. É

importante que se desenvolva um ambiente que seja identificado pelos seus propósitos

educacionais e, além disso, exija pouco desdobramento do aluno e do professor para

dominar seu uso e suas ferramentas. Esses ambientes são formados por:

a) Ferramentas de navegação que auxiliarão a movimentação do aluno nas páginas do

curso, bem como a visualização dos conteúdos;

b) Ferramentas de interatividade que permitirão aos alunos acessarem áreas como e-

mail, fórum, lista de discussão, chats, dentre outras;

c) Ferramentas de aprendizagem que possibilitarão o acesso a diferentes tipos de

arquivos e programas necessários à aprendizagem.

Existem diferentes tipos de AVA no ciberespaço. Cada um tem suas vantagens e

diferentes características de uso. Alguns ambientes geram custos elevados de aquisição e

outros são de domínio público, ou seja, são gratuitos. Durante a pesquisa, três ambientes

gratuitos se enquadraram aos objetivos do trabalho. São eles: Aulanet, e-Porinfo e Teleduc,

descritos a seguir.

2.1.1.1 Aulanet

O AulaNet é uma ferramenta de ensino à distância e um ambiente de software

baseado na Web, que foi desenvolvido inicialmente no Laboratório de Engenharia de

Software (LES) do Departamento de Informática da PUC-Rio, a partir de julho de 1997,

sob a coordenação dos professores Carlos Lucena e Hugo Fuks.

13

O AulaNet tem a filosofia de aplicar a tecnologia da informação (Internet, Intranets,

WWW etc) para a área de educação e treinamento, proporcionando um ambiente de

aprendizagem cooperativo, enfatizando a cooperação entre alunos e entre aluno e

professor.

A concepção do AulaNet é a de utilizar metáforas físicas da escola tradicional:

corredores, quadros negros, salas de aula e bibliotecas. Desta forma, os criadores do

AulaNet propõem uma abordagem cooperativa baseada na idéia de que, para cooperarem,

as pessoas têm que se coordenar, e, para se coordenar, é preciso se comunicar. Conforme

descrição de Yonezawa, Morgado e Reinhard (2001), o ambiente do AULANET faz uso de

uma série de mecanismos para tratar essas dimensões de comunicação, colaboração e

coordenação, descritos a seguir.

O mecanismo de comunicação oferece meios para a comunicação entre professor e

alunos e entre alunos. Os principais mecanismos de comunicação são: o contato com o

professor, o grupo de discussão, o grupo de interesse e o debate.

A coordenação é trabalhada por meio dos mecanismos de coordenação. Tais

mecanismos auxiliam no planejamento de tarefas e na avaliação. Agenda, notícias do

curso, prova, trabalho e exercício são exemplos de mecanismos de coordenação utilizados

pelo Aulanet.

Os mecanismos de cooperação oferecem os meios para a cooperação entre o

professor, alunos e entre os alunos. A cooperação aqui é entendida como a preparação do

material que os alunos consumirão e também, numa visão construtivista, como a permissão

para que outras pessoas possam preparar materiais que poderão ser incorporados ao curso.

Os mecanismos de cooperação são transparência (consiste na utilização de arquivos de

apresentação gerados por programas aplicativos com o Microsoft PowerPoint),

apresentações gravadas (conteúdo em mídia digital de vídeo e/ou áudio), textos de aula,

livro texto, bibliografia, demonstrações, co-autoria de professor (permite que o professor

convide outros professores para serem co-autores do seu curso), co-autoria de aluno

(permite que o professor escolha alunos para prepararem materiais para o curso).

Conforme informações obtidas no próprio site, o AulaNet possui a seguinte

premissa: os cursos criados devem possuir grande capacidade de interatividade, de forma a

atrair a participação intensa do aluno no processo de aprendizagem. O AulaNet está

disponível em http://www.portalevoluir.com.br.

Lira, Nobreza e Lira (2000) observam que o Aulanet é uma ferramenta tecnológica

que trouxe um dos grandes avanços para a educação, possibilitando aos alunos organizar

14

suas atividades formativas em ritmo conveniente para eles, facilitando o acesso ou

distribuição do material didático a todos os participantes, assim como a interação entre

professor e aluno no momento mais conveniente para eles.

A figura 1 apresenta a tela de acesso para o Aulanet.

Figura 1: Tela inicial do ambiente Aulanet

Várias disciplinas de graduação e de pós-graduação da PUC-Rio utilizam o

AulaNet como complemento às suas atividades, assim como professores e alunos de

universidades de todo o país, por ser um projeto acadêmico não comercial. O AulaNet

também vem sendo utilizado por empresas interessadas em modernizar, agilizar e baratear

o treinamento.

2.1.1.2 E-Proinfo

O E-proinfo foi concebido e construído pela Secretaria de Educação a Distância

(SEED) e pelo Departamento de Infra-estrutura Tecnológica (DITEC) do MEC. O

desenvolvimento e a melhoria vêm sendo realizados em parceria com algumas instituições

15

de ensino, como UFRGS e PUC-SP. Seu uso é permitido de forma gratuita para as

instituições públicas.

O conceito do E-Proinfo pode ser entendido como um Ambiente Colaborativo de

Aprendizagem que utiliza a Tecnologia de Internet e permite a concepção, administração e

desenvolvimento de diversos tipos de ações, como cursos a distância, complemento a

cursos presenciais, projetos de pesquisa, projetos colaborativos e diversas outras formas de

apoio a distância e ao processo ensino-aprendizagem.

O ambiente foi desenvolvido para complementar o programa educacional ProInfo,

que visa introduzir Tecnologias de Informação e Comunicação (TIC) nas escolas públicas

do Brasil, como ferramenta de apoio ao processo ensino-aprendizagem. O ambiente do

MEC não necessita de infra-estrutura para sua instalação, pois o sistema fica instalado no

servidor do próprio MEC. As instituições públicas cadastradas podem acessar o ambiente

usando os computadores que têm disponíveis. Atualmente está sendo implantado em todos

os Centros Federais de Educação Tecnológica (Cefets) espalhados pelo Brasil.

Apesar da adoção desta plataforma ter recebido atenção no ensino superior, há

poucos registros de pesquisas acadêmicas que descrevam a experiência da utilização do E-

Proinfo (Testa, 2006; Pithon; Brochado, 2006). O trabalho de Pithon e Brochado (2006)

relata a sua utilização em disciplinas do curso de Engenharia de Produção do CEFET/RJ.

Os autores mostraram que essa plataforma tem permitido o desenvolvimento da capacidade

do aluno de trabalhar em grupo e à distância em ambientes virtuais.

A estrutura do E-ProInfo está composta de dois ambientes: o site do Participante e o

site do Administrador, que estão disponíveis em: http://www.eproinfo.mec.gov.br e

http://www.eproinfo.mec.gov.br/adm, respectivamente.

O site do Participante permite que pessoas interessadas se inscrevam e participem

dos cursos e diversas outras ações oferecidas por várias entidades conveniadas. Nesse site,

os participantes têm acesso a conteúdos, informações e atividades organizadas por módulos

e temas, além de poderem interagir com coordenadores, instrutores, orientadores,

professores, monitores e com outros colegas participantes.

No Ambiente Colaborativo do e-ProInfo, há um conjunto de recursos disponíveis

para apoio às atividades dos participantes, entre eles, Tira-dúvidas, Notícias, Avisos,

Agenda, Diário e Biblioteca. Um conjunto de ferramentas está disponível para apoio a

interação entre os participantes, entre eles, e-mail, chat, fórum de discussões e banco de

projetos; e um outro conjunto de ferramentas para avaliação de desempenho, como

questionários e estatísticas de atividades.

16

O site do Administrador permite que pessoas credenciadas pelas entidades

conveniadas desenvolvam, ofereçam, administrem e ministrem cursos a distância e

diversas outras ações de apoio a distância ao processo ensino-aprendizagem, configurando

e utilizando todos os recursos e ferramentas disponíveis no ambiente. Cada Entidade pode

estruturar diversos cursos ou outras ações compostas por Módulos e, estes, por Atividades.

Os participantes se inscrevem em cursos e, sendo aceitos pelo Administrador, podem se

vincular a Turmas, através das quais cursam seus respectivos Módulos.

Na figura 2, é apresentada a tela inicial do ambiente e-Proinfo.

Figura 2: Tela Inicial do Ambiente e-Proinfo

O E-ProInfo já foi usado para a formação de 50 mil alunos, a maioria funcionários

públicos, em 235 cursos de aperfeiçoamento profissional. A partir do trabalho em

cooperação da SEED e de outros órgãos do MEC com 112 instituições, entre Secretarias de

Educação dos Estados, Municípios e Distrito Federal, universidades, centros de pesquisas,

etc., dezenas de cursos a distância foram e vem sendo desenvolvidos no ambiente E-

proinfo, que recebeu uma média superior a 45.000 acessos mensais em 2005 (EPROINFO,

2005).

17

2.1.1.3 Teleduc

O TelEduc é um ambiente para a criação, participação e administração de cursos na

Web, que foi concebido tendo como alvo o processo de formação de professores para

informática educativa, baseado na metodologia de formação contextualizada desenvolvida

por pesquisadores do NIED (Núcleo de Informática Aplicada à Educação) da Universidade

de Campinas (UNICAMP). O TelEduc está disponível em:

http://teleduc.nied.unicamp.br/teleduc/ .

O ambiente é parte integrante de várias pesquisas acadêmicas que vêm sendo

desenvolvidas na Unicamp. O Nied, como uma de suas linhas de pesquisa, tem realizado

diversos cursos a distância através do TelEduc desde 1998, acompanhando

progressivamente o desenvolvimento do ambiente sob a orientação da professora Drª.

Heloísa Vieira da Rocha.

Rocha et al. (2002) descreve a arquitetura básica do ambiente TelEduc, conforme a

visualiza-se na Figura 3.

Figura 3: Arquitetura básica do ambiente TelEduc

Segundo o próprio site, o TelEduc foi concebido tendo como elemento central a

ferramenta que disponibiliza Atividades. Isso possibilita a ação onde o aprendizado de

conceitos em qualquer domínio do conhecimento é feito a partir da resolução de

18

problemas, com o subsídio de diferentes materiais didáticos como textos, software,

referências na Internet, dentre outros, que podem ser colocadas para o aluno usando

ferramentas como: Material de Apoio, Leituras, Perguntas Freqüentes etc.

A figura 4 mostra a tela inicial do Teleduc.

Figura 4: Tela Inicial do Ambiente Teleduc

O ambiente TelEduc cresceu e se solidificou e, em fevereiro de 2001, foi

disponibilizada sua primeira versão como um software livre. A partir deste lançamento,

fato inédito no cenário nacional de software para EaD, inúmeras instituições públicas e

privadas – como UFRGS, USF, PUCSP, FUNDAP, Secretaria da Fazenda do Estado de

São Paulo, Universidade de Uberaba, UNICAMP, UNB etc. - passaram a usar o TelEduc

(Rocha et al., 2002). O uso do Teleduc, nos mais diferentes contextos, levou à

implementação de novas ferramentas e contínuas atualizações e reestruturações. A versão

atual apresenta suporte para múltiplas línguas, de modo a atender a atual demanda

internacional de uso do ambiente.

Além das experiências relatadas em Rocha et al (2002), há outros relatos

acadêmicos do uso dessa ferramenta tecnológica. Uma dessas experiências é relatada por

Silva, Coutinho e Montevechi (2004), onde mencionam que os alunos aprovaram o

19

trabalho desenvolvido e consideraram que o ambiente virtual TelEduc auxiliou na

aprendizagem do conteúdo da disciplina de Pesquisa Operacional e que agregou,

complementou e desenvolveu conhecimentos aos cursos de Engenharia de Produção.

Outra experiência de sucesso de uso do TelEduc na educação à distância foi

relatado por Evangelista e Heckler (2006), que utilizado pelos alunos do Curso de

Engenharia de Produção Agroindustrial da Sociedade Educacional de Três de Maio

(SETREM), da UNIJUÍ. As vantagens indicadas pela pesquisa do TelEduc no EaD foram

as seguintes: 42% informaram a facilidade de acesso em qualquer horário; 35%, com

acesso de qualquer local; 12% pelo registro de dados dos acessos dos alunos, como

entradas e saídas e disponibilização de materiais e, 12% pela agilidade na comunicação.

Ficou comprovado que quem acessa diariamente a Internet aprende e compreende mais

rapidamente os conteúdos fixados nos itens disponíveis.

Outra referência ao uso do TelEduc foi encontrada em Kaufmann (2005), onde são

discutidas as ações do Centro Universitário UNIVATES. Esta instituição utiliza o Teleduc

como ferramenta para suas experiências em educação à distância e também como apoio às

aulas presenciais. O autor conclui que o TElEduc tem permitido intensa comunicação entre

os participantes do curso e ampla visibilidade dos trabalhos desenvolvidos.

Encontra-se outra referência do Teleduc como um exemplo de adoção de software

livre pela Secretaria de Ensino à Distância (SEDIS) da Universidade Federal do Rio

Grande do Norte - UFRN (Ramos e Oliveira, 2006). O uso desse ambiente virtual de

aprendizado na UFRN está alinhado com a diretriz do atual governo federal, no sentido do

ensino público venha a adotar ferramentas de plataforma aberta para o ensino à distância.

O Teleduc, como um dos vários projetos que investigam soluções para apoiar o

processo de EaD no Brasil, permite aplicar as suas descobertas em uma nova concepção de

sistemas para a geração, tratamento e difusão de conhecimento através de uma ferramenta

que pode apoiar efetivamente o processo de ensino/aprendizagem (Carniel et al., 2005).

2.2 Interface humano-computador

Segundo Rocha e Baranauskas (2003), o desempenho humano no uso de

computadores e de sistemas de informação tem sido uma área de pesquisa e

desenvolvimento que muito se expandiu nas últimas décadas. Contribuições de diversas

áreas são observadas. Além da Psicologia Experimental, outras contribuições também

advêm da Psicologia Educacional, do Design Instrucional e Gráfico, dos Fatores Humanos

20

ou Ergonômicos, e bem mais recentemente, da Antropologia e da Sociologia.

Interface é um meio através do qual as pessoas e o computador se comunicam (IBM

apud Batista, 2003). É a camada mais próxima do usuário. Ela é o lugar de contato, de

trocas, de comunicação (Rhéaume apud Batista, 2003).

Para Souza et al. (2003), a interface gráfica de um sistema computacional é o

dispositivo que serve de agente de comunicação entre duas entidades comunicantes, que se

exprimem através de uma linguagem específica. Além de assegurar a conexão física

através dos dispositivos de entrada (periféricos do hardware), a interface deve permitir a

tradução da linguagem de forma facilitada. No caso da IHC, trata-se de fazer a conexão

entre a linguagem externa do sistema e o sistema sensório-motor do usuário.

A interface com o usuário é formada por apresentações de informações, de dados,

de controles e de comandos. Ela também solicita e recepciona as entradas de dados, de

controles e de comandos. Finalmente, ela controla o diálogo entre as apresentações e as

entradas. Uma interface tanto define as estratégias para a realização da tarefa, como

conduz, orienta, recepciona, alerta, ajuda e responde ao usuário durante as interações

(Cybis, 2003).

Portanto, em todo e qualquer software, a interface deve facilitar o processo de

comunicação, ajudando o usuário a obter um melhor desempenho em sua área específica,

permitindo atingir seu objetivo com rapidez e exatidão, demonstrando, de algum modo,

acompanhar o processo cognitivo do usuário (Gonçalves, 2001).

Uma interface amigável é agora uma parte muito mais importante dos

computadores do que costumava ser. Quando o computador era usado por um pequeno

número de pessoas que desenvolviam tarefas especializadas, era natural exigir um alto

nível de aprendizagem e perícia dos usuários. Agora uma larga proporção dos recursos

computacionais é dedicada a tornar a vida mais fácil para o usuário. O termo Human-

Computer Interaction (HCI), traduzido como Interação Homem-Computador (IHC), foi

introduzido em meados dos anos 80 como um meio de descrever esse novo campo de

estudo, que se preocupa com o relacionamento entre o homem e o computador (Rubin,

1994 apud Gonçalves, 2001).

Para se projetar uma interface, não se deve apenas se preocupar com combinações

de tamanhos e cores de letras. Deve-se incluir, nessa análise, a forma com que as pessoas

irão interagir a partir de seus critérios cognitivos e emocionais, ou seja, a forma pela qual

acontecerá a interação entre as partes. Isso não quer dizer que se deve projetar uma

interface para cada usuário, mas sim, projetá-las para cada público alvo ao qual aquela

21

interface deseja atingir (Rocha e Baranauskas, 2003).

2.3 Ergonomia e Usabilidade

Ergonomia

Iida (1998) diz que ergonomia é o estudo da adaptação do trabalho ao homem. Os

objetivos práticos da ergonomia são a segurança, a satisfação e o bem-estar dos

trabalhadores no seu relacionamento com sistemas produtivos.

Dias e Másculo (2005), definindo a Ergonomia do Software, afirmam que esta área

trata de aspectos relativos aos programas e à programação e busca melhorar a capacidade

de utilização – usabilidade - dos softwares por usuários de diferentes características.

Na última década, as pesquisas nas áreas de Ergonomia e Engenharia de Software

resultaram no advento de uma nova área de conhecimento: a Ergonomia de Software. Seu

objetivo é buscar ferramentas e critérios para solucionar os problemas criados com o

desenvolvimento de sistemas de computador (Gonçalves, 2001).

O processo de desenvolvimento de software geralmente é composto de duas

dimensões básicas: o das pessoas que fazem o software (dimensão interna) e das pessoas

que o usam (dimensão externa) (Meuer apud Gonçalves, 2001).

Antes do advento da Ergonomia de Software, freqüentemente, os ergonomistas

tinham uma visão parcial do processo, dando demasiada atenção à lógica do

funcionamento do software, a dimensão interna, negligenciando a lógica da utilização, a

dimensão externa (Gonçalves, 2001).

É objetivo da Ergonomia de software considerar essas duas lógicas, utilização e

funcionamento, durante o processo de desenvolvimento, a fim de garantir uma melhor

adaptação do software às expectativas do usuário (Gonçalves, 2001). Esse objetivo é

alcançado através de critérios ergonômicos, que são usados para auxiliar na concepção e

avaliação da interface do software, colaborando para a interação homem-computador.

Usabilidade

Segundo Santos (2000), usabilidade pode ser compreendida como a capacidade, em

termos funcionais humanos, de um sistema ser usado facilmente e com eficiência pelo

usuário. Para Moraes (1999 apud Lima, 2003), usabilidade diz respeito à habilidade do

software em permitir que o usuário alcance facilmente suas metas de interação com o

sistema. Desta forma, problemas de usabilidade estão relacionados com o diálogo da

22

interface. Algumas deficiências deste tipo incluem: incompatibilidade entre produtos,

inconsistência, decodificação difícil e estranheza.

Segundo Jordan (1998) citado por Kulczynskyj (2002), um exemplo de usabilidade

seria um produto para ser utilizado em emergências como um extintor de incêndio. Ele

deve ser de fácil manuseio, pois normalmente ele é utilizado em situações onde o usuário

esta sob tensão. Certamente poderão ocorrer sérias conseqüências se o usuário tiver

dificuldades ou dúvidas de como manusear o extintor. Isto mostra que a falta de

usabilidade é considerada um fator causador de acidentes.

Para Bevan (1999), um sistema, para ser bem aceito por parte de seus usuários,

deve possuir uma boa usabilidade. Desta forma, a usabilidade refere-se à capacidade de um

software ser compreendido, aprendido, utilizado e ser atrativo para o usuário, em

condições específicas de utilização. A Internacional Standard Organization (ISO) dispõe de

duas definições de usabilidade, segundo normas específicas (Bevan, 1999):

� ISO/IEC 9126: “A usabilidade refere-se à capacidade de um software de ser

compreendido, aprendido, utilizado e ser atrativo para o utilizador, em

condições específicas de utilização”;

� ISO/IEC 9241: “A usabilidade é a efetividade, eficiência e satisfação com a

que um produto permite atingir objetivos específicos a utilizadores

específicos num contexto de utilização específico”. Esta definição é

centrada no conceito de qualidade de utilização, isto é, refere-se a como o

utilizador realiza tarefas específicas em cenários específicos com

efetividade.

Bastien e Scapin (1997) consideram que a usabilidade está diretamente ligada ao

diálogo na interface. Segundo eles, é a capacidade do software em permitir que o usuário

alcance suas metas de interação com o sistema.

Nielsen (1993) diz que para que o sistema tenha boa usabilidade, é necessário

atender aos seguintes requisitos: ser de fácil aprendizagem, ser eficiente na utilização, ser

fácil de lembrar, ter poucos erros e satisfazer subjetivamente. Para o autor, esses cinco

atributos compõem a natureza multidimensional da usabilidade.

Percebe-se que todos os conceitos assemelham-se, pois colocam o usuário como

centro das atenções na hora de projetar uma interface. Os critérios ergonômicos são uma

ferramenta extremamente útil ao projeto de dispositivos interativos e ajuda a identificar

problemas de usabilidade. Estes critérios definem quais são as qualidades que devem ser

23

atribuídas ao software durante o projeto, para que, durante a interação, satisfaçam

plenamente o usuário (Souza et al., 2003).

A seguir, são especificados os critérios ergonômicos que são as dimensões de

usabilidade que foram utilizados neste trabalho para a avaliação da interface dos ambientes

virtuais de aprendizagem à distância, tanto do ponto de vista de um checklist quanto da

percepção do usuário.

2.3.1 Critérios Ergonômicos

A Interação Homem Computador (IHC) tem definido normas e critérios

ergonômicos de avaliação e validação das interfaces de ambientes, dos computadores e

seus periféricos (Andrade, 2002). Critérios ergonômicos são ferramentas que auxiliam

avaliações de interfaces homem-computador (Barros, 2003).

Desde 1986, Dominique Scapin e Christian Bastien, pesquisadores do instituto

francês Institut National de Recherche en Informatique et en Automatique (INRIA), têm

estudado sobre ergonomia de interfaces homem-computador, de modo a tornar facilmente

disponíveis os conhecimentos nessa disciplina, tanto para especialistas como para não

especialistas. O sistema de critérios visa a recuperação de conhecimento ergonômico para

avaliação de sistemas interativos, tendo como base um conjunto de dimensões específicas

de usabilidade (Scapin e Bastien, 1997). Os autores comentam que, através de

experimentos variados, esse conjunto de critérios está sendo continuadamente validado e

apurado em suas definições.

A tabela 1 mostra a estrutura dos critérios, segundo sua hierarquia. Em seguida, é

fornecido um conjunto detalhado de definições destas dimensões, tendo como fonte

bibliográfica o artigo de Scapin e Bastien (1997).

Para Aranha (2004), os critérios ergonômicos possibilitam revelar aspectos da

tarefa de trabalho que devem ser observados e levados em consideração no projeto de

Sistema de Gerenciamento de aprendizagem Virtual (LMS).

24

CRITÉRIOS PRINCIPAIS SUB-CRITÉRIOS CRITÉRIOS ELEMENTARES Presteza

Feedback Imediato Legibilidade

Agrupamento/Distinção por Localização

Condução Agrupamento/Distinção

de Itens Agrupamento/Distinção por Formato Concisão Brevidade

Ações Mínimas

Carga de Trabalho Densidade Informacional

Ações Explícitas do Usuário Controle Explícito Controle do Usuário

Flexibilidade Adaptabilidade Experiência do Usuário

Proteção Contra Erros Mensagens de Erro

Gestão de Erros

Correção de Erros Consistência Significado

Compatibilidade

Tabela 1: Critérios Ergonômicos de Bastien e Scapin

Fonte: Cybis (2003)

O mapeamento da tarefa a ser executada e da inteligência do usuário que são

fundamentais à execução dos comandos de operação do LMS contribuem para que o

projetista conheça os problemas enfrentados pelos usuários na aprendizagem e operação do

sistema.

2.3.1.1 Condução

O software ergonômico aconselha, orienta, informa, e conduz o usuário na

interação com o computador (mensagens, alarmes, rótulos, etc.), possibilitando:

- a localização do usuário, ou seja, que saiba, a qualquer hora, onde se encontra,

numa seqüência de interações ou na execução de uma tarefa;

- conhecimento das ações permitidas, bem como suas conseqüências;

- obtenção de informações suplementares (eventualmente por demanda).

Presteza

A presteza diz respeito às informações que permitem ao usuário identificar o estado

ou contexto no qual se encontra, bem como as ferramentas de ajuda e o modo de acesso,

incluindo todos os mecanismos ou meios que permitam ao usuário conhecer as

alternativas, em termos de ações, conforme o estado ou contexto no qual ele se encontra.

25

Esse sub-critério engloba os meios utilizados para levar o usuário a realizar determinadas

ações.

O software prestativo guia o usuário e poupa-o do aprendizado de uma série de

comandos, permitindo ao usuário saber o modo ou o estado e onde se encontra no diálogo,

bem como o que fez para se encontrar nessa situação. Uma boa presteza facilita a

navegação no aplicativo e diminui a ocorrência de erros.

Feedback Imediato

Feedback imediato diz respeito às respostas do sistema às ações do usuário. Estas

entradas podem ir do simples pressionar de uma tecla, até uma lista de comandos. As

respostas do computador devem ser fornecidas, de forma rápida, com um tempo de

resposta apropriado e consistente para cada tipo de transação. Uma resposta rápida deve ser

fornecida com informação sobre a transação solicitada e seu resultado.

A qualidade e rapidez do feedback são dois fatores importantes para o

estabelecimento de satisfação e confiança do usuário, assim como para o entendimento do

diálogo. Esses fatores possibilitam que o usuário tenha um melhor entendimento do

funcionamento do sistema.

A ausência de feedback ou sua demora podem ser desconcertantes para o usuário.

Os usuários podem suspeitar de uma falha no sistema, e podem tomar atitudes prejudiciais

para os processos em andamento.

Legibilidade

A performance melhora quando a apresentação da informação leva em conta as

características cognitivas e perceptivas dos usuários. Uma boa legibilidade facilita a leitura

da informação apresentada.

Legibilidade diz respeito às características lexicais das informações apresentadas na

tela que possam dificultar ou facilitar a leitura dessa informação (brilho do caractere,

contraste letra/fundo, tamanho da fonte, espaçamento entre palavras, espaçamento entre

linhas, espaçamento de parágrafos, comprimento da linha, etc).

Agrupamento/Distinção de Itens

A compreensão de uma tela pelo usuário depende, entre outras coisas, da

ordenação, do posicionamento, e da distinção dos objetos (imagens, textos, comandos, etc)

que são apresentados. Os usuários vão detectar os diferentes itens ou grupos de itens, e

26

aprender suas relações mais facilmente, se, por um lado, eles forem apresentados de uma

maneira organizada (por exemplo, ordem alfabética, freqüência de uso, etc), e por outro

lado, os itens ou grupos de itens forem apresentados em formatos, ou codificados de

maneira a indicar suas similaridades ou diferenças. Além disso, a aprendizagem e a

recuperação de itens ou de grupos de itens será melhorada.

Essa qualidade diz respeito à organização visual dos itens de informação,

relacionados uns com os outros, levando em conta a topologia (localização) e algumas

características gráficas (formato) para indicar as relações entre os vários itens mostrados,

apontando se pertencem ou não, a uma dada classe, ou indicando diferenças entre classes.

Essa qualidade também diz respeito à organização dos itens de uma classe. O critério

agrupamento/distinção de itens está subdividido em dois critérios elementares:

agrupamento/distinção por localização e agrupamento/distinção por formato.

A qualidade de agrupamento/distinção por localização diz respeito ao

posicionamento relativo dos itens, estabelecido para indicar se eles pertencem ou não a

uma dada classe, ou, ainda, para indicar diferenças entre classes, e o posicionamento

relativo dos itens dentro de uma classe.

Será mais fácil para o usuário perceber relacionamento(s) entre itens ou classes de

itens, se diferentes formatos ou diferentes códigos ilustrarem suas similaridades ou

diferenças. Tais relacionamentos serão mais fáceis de aprender e de lembrar.

A qualidade de agrupamento/distinção por formato diz respeito mais

especificamente às características gráficas (formato, cor, etc.) que indicam se itens

pertencem ou não a uma dada classe, ou que indicam distinções entre classes diferentes, ou

ainda distinções entre itens de uma dada classe.

2.3.1.2 Carga de Trabalho

Quanto maior for a carga de trabalho cognitivo para o usuário, maior será a

probabilidade de cometer erros, além disso, quanto menos o usuário for distraído por

informação desnecessária, mais será capaz de desempenhar suas tarefas eficientemente,

pois quanto menos ações são necessárias, mais rápidas as interações.

O critério Carga de Trabalho, que define o software econômico, diz respeito a todos

elementos da interface que têm um papel importante na redução da carga cognitiva e

perceptiva do usuário, e no aumento da eficiência do diálogo.

27

O critério Carga de Trabalho está dividido em dois sub-critérios: Brevidade (que

inclui Concisão e Ações Mínimas) e Densidade Informacional.

Brevidade

A capacidade da memória de curta duração é limitada. Conseqüentemente, quanto

menos entradas, menor a probabilidade de cometer erros. Além disso, quanto mais sucintos

forem os itens, menor será o tempo de leitura, e quanto mais numerosas e complexas forem

as ações necessárias para se chegar a uma meta, maior será a carga de trabalho e a

probabilidade de ocorrência de erros.

O software breve respeita a capacidade de trabalho perceptivo e cognitivo do

usuário, tanto para entradas e saídas individuais, quanto para conjuntos de entradas (isto é,

conjuntos de ações necessárias para se alcançar uma meta). Brevidade corresponde ao

objetivo de limitar a carga de trabalho de leitura e entradas, e o número de passos. O sub-

critério Brevidade se divide em duas qualidades elementares: Concisão e Ações Mínimas.

O critério elementar Concisão diz respeito à carga perceptiva e cognitiva de saídas

e entradas individuais. Quanto mais numerosas e complexas forem as ações necessárias

para se chegar a uma meta, maior será a carga de trabalho e a probabilidade de ocorrência

de erros. Por isso, a qualidade Ações Mínimas diz respeito à carga de trabalho em relação

ao número de ações necessárias à realização de uma tarefa. Trata-se de limitar, tanto

quanto possível, o número de passos pelos quais o usuário deve passar.

Densidade Informacional

A carga de memorização do usuário deve ser minimizada. Usuários não devem ter

que memorizar listas de dados ou procedimentos complicados. Eles não devem, também,

precisar executar tarefas cognitivas complexas quando estas não estão relacionadas com a

tarefa em questão.

Na maioria das tarefas, a performance dos usuários é diminuída quando a densidade

da informação é muito alta ou muito baixa, nestes casos, a ocorrência de erros é mais

provável. Itens que não estão relacionados à tarefa devem ser removidos.

A qualidade Densidade Informacional diz respeito à carga de trabalho do usuário,

de um ponto de vista perceptivo e cognitivo, com relação ao conjunto total de itens de

informação apresentados aos usuários, e não a cada elemento ou item individual.

28

2.3.1.3 Controle Explícito

Com um software obediente o usuário tem o controle explícito sobre os

processamentos do sistema. Quando os usuários definem explicitamente suas entradas, e

quando estas entradas estão sob controle, os erros e as ambigüidades são limitados. Além

disso, o sistema será mais bem aceito pelos usuários se eles tiverem controle sobre o

diálogo. O software obediente se define em dois sub-critérios: Ações Explícitas do Usuário

e Controle do Usuário.

Ações Explícitas do Usuário

O subcritério Ações Explícitas do Usuário se refere às relações entre o

processamento pelo computador e as ações do usuário. Esta relação deve ser explícita, isto

é, o computador deve processar somente aquelas ações solicitadas pelo usuário e somente

quando solicitado a fazê-lo.

Quando o processamento pelo computador resulta de ações explícitas dos usuários,

estes aprendem e entendem melhor o funcionamento da aplicação, e menos erros são

observados.

Controle do Usuário

O sub-critério Controle do Usuário se refere ao fato de que os usuários deveriam

estar sempre no controle do processamento do sistema (por exemplo, interromper,

cancelar, suspender e continuar). Cada ação possível do usuário deve ser antecipada e

opções apropriadas devem ser oferecidas.

O controle sobre as interações favorece a aprendizagem e assim diminui a

probabilidade de erros. Como conseqüência, o computador se torna mais previsível.

2.3.1.4 Adaptabilidade

A adaptabilidade de um sistema diz respeito a sua capacidade de reagir conforme o

contexto, e conforme as necessidades e preferências do usuário. Dois sub-critérios

participam da adaptabilidade: a flexibilidade e a consideração da experiência do usuário.

Uma interface não pode atender ao mesmo tempo a todos os seus usuários em

potencial. Para que não tenha efeitos negativos sobre o usuário, a interface deve, conforme

o contexto, se adaptar a ele. Por outro lado, quanto mais variadas são as maneiras de

realizar uma tarefa, maiores são as chances do usuário de escolher e dominar uma delas no

29

curso de seu aprendizado. Deve-se, portanto, fornecer ao usuário procedimentos, opções,

comandos diferentes permitindo alcançar um mesmo objetivo.

Flexibilidade

A flexibilidade se refere aos meios colocados à disposição do usuário que permite

personalizar a interface a fim de levar em conta as exigências da tarefa, de suas estratégias

ou seus hábitos de trabalho. Corresponde também ao número de diferentes maneiras à

disposição do usuário para alcançar um certo objetivo, e, portanto, da capacidade da

interface se adaptar as variadas ações do usuário.

Quanto mais formas de efetuar uma tarefa existirem, maiores serão as chances de

que o usuário possa escolher e dominar uma delas no curso de sua aprendizagem.

Experiência do Usuário

A consideração da experiência do usuário diz respeito aos meios implementados

que permitem que o sistema respeite o nível de experiência do usuário.

O grau de experiência dos usuários pode variar, pois podem se tornar especialistas,

devido a utilização continuada, bem como menos especialistas, depois de longos períodos

de não utilização. A interface deve também ser concebida para lidar com as variações dos

níveis de experiência. Usuários experientes não têm as mesmas necessidades informativas

que novatos. Todos os comandos ou opções não precisam ser visíveis o tempo todo. Os

diálogos de iniciativa somente do computador, entediam e diminuem o rendimento do

usuário experiente. Os atalhos, ao contrário, podem permitir rápido acesso as funções do

sistema. Pode-se fornecer aos usuários inexperientes diálogos bem conduzidos, ou mesmo

passo à passo. Portanto, meios diferenciados devem ser previstos para lidar com diferenças

de experiência, permitindo que o usuário delegue ou se aproprie da iniciativa do diálogo.

2.3.1.5 Gestão de Erros

A gestão de erros diz respeito a todos os mecanismos que permitem evitar ou

reduzir a ocorrência de erros, e quando eles ocorrem, que favoreçam sua correção. Os erros

são aqui considerados como entrada de dados incorreta, entradas com formatos

inadequados, entradas de comandos com sintaxes incorretas, etc. As interrupções

provocadas pelos erros têm conseqüências negativas sobre a atividade do usuário.

Geralmente, elas prolongam as transações e perturbam o planejamento. Quanto menor é a

possibilidade de erros, menos interrupções ocorrem e melhor é o desempenho.

30

Três sub-critérios participam da manutenção dos erros: a proteção contra os erros, a

qualidade das mensagens de erro e a correção dos erros.

Proteção Contra Erros

A proteção contra os erros diz respeito aos mecanismos empregados para detectar e

prevenir os erros de entradas de dados ou comandos, ou possíveis ações de conseqüências

desastrosas e/ou não recuperáveis.

É preferível detectar os erros no momento da digitação do que no momento da

validação. Isto pode evitar perturbações no planejamento da tarefa.

Mensagens de Erro

A qualidade das mensagens refere-se a pertinência, a legibilidade e a exatidão da

informação dada ao usuário sobre a natureza do erro cometido (sintaxe, formato etc), e

sobre as ações a executar para corrigi-lo.

A qualidade das mensagens favorece o aprendizado do sistema indicando ao

usuário a razão ou a natureza do erro cometido, o que ele fez de errado, o que ele deveria

ter feito e o que ele deve fazer.

Correção de Erros

O sub-critério Correção de Erros diz respeito aos meios colocados a disposição do

usuário com o objetivo de permitir a correção de seus erros. Os erros são bem menos

perturbadores quando eles são fáceis de corrigir.

2.3.1.6 Consistência

O critério homogeneidade/coerência refere-se à forma na qual as escolhas na

concepção da interface (códigos, denominações, formatos, procedimentos etc) são

conservadas idênticas em contextos idênticos, e diferentes para contextos diferentes.

Os procedimentos, rótulos, comandos etc são mais bem reconhecidos, localizados e

utilizados, quando seu formato, localização, ou sintaxe são estáveis de uma tela para outra,

de uma seção para outra. Nestas condições o sistema é mais previsível e a aprendizagem

mais generalizável; os erros são diminuídos. É necessário escolher opções similares de

códigos, procedimentos, denominações para contextos idênticos, e utilizar os mesmos

meios para obter os mesmos resultados. É conveniente padronizar, tanto quanto possível,

31

todos os objetos quanto ao seu formato e sua denominação, e padronizar a sintaxe dos

procedimentos. A falta de homogeneidade é também uma razão importante da recusa na

utilização.

2.3.1.7 Significado dos Códigos e Denominações

O critério Significado dos Códigos e Denominações diz respeito à adequação entre

o objeto ou a informação apresentada ou pedida, e sua referência. Códigos e denominações

significativas possuem uma forte relação semântica com seu referente. Termos pouco

expressivos para o usuário podem ocasionar problemas de condução onde ele pode ser

levado a selecionar uma opção errada.

Quando a codificação é significativa, a recordação e o reconhecimento são

melhores. Códigos e denominações não significativos para os usuários podem lhes sugerir

operações inadequadas para o contexto, lhes conduzindo a cometer erros.

2.3.1.8 Compatibilidade

O critério Compatibilidade refere-se ao acordo que possa existir entre as

características do usuário (memória, percepção, hábitos, competências, idade, expectativas

etc) e das tarefas, de uma parte, e a organização das saídas, das entradas e do diálogo de

uma dada aplicação, de outra. Diz respeito também, ao grau de similaridade entre

diferentes ambientes e aplicações.

A transferência de informações de um contexto à outro é tanto mais rápida e eficaz

quanto menor é o volume de informação que deve ser recodificada.

A eficiência é aumentada quando os procedimentos necessários ao cumprimento da

tarefa são compatíveis com as características psicológicas do usuário; os procedimentos e

as tarefas são organizados de maneira a respeitar as expectativas ou costumes do usuário;

quando as traduções, as transposições, as interpretações, ou referências a documentação

são minimizadas.

Os desempenhos são melhores quando a informação é apresentada de uma forma

diretamente utilizável (telas compatíveis com o suporte tipográfico, denominações de

comandos compatíveis com o vocabulário do usuário etc).

No Brasil, vários autores vêm utilizando os critérios ergonômicos de Scapin e

Bastien na pesquisa acadêmica, como Matias (1995), Silva e Vargas (1999), Aranha

(2001), Souza et al. (2003), Lima (2003), Aranha (2004).

32

2.3.2 Avaliação de Usabilidade de interfaces

Segundo Rocha e Baranauskas (2003), a avaliação não deve ser vista como uma

fase única dentro de um processo de design e muito menos como uma atividade a ser feita

no final do processo e se “der tempo”. Idealmente, a avaliação deve ocorrer durante o ciclo

de vida do design e seus resultados utilizados para melhorias gradativas da interface.

Nos modelos de desenvolvimento de interfaces usáveis, a avaliação deve ter um

papel central. Observa-se isto no modelo estrela, criado por Hix e Hartson (1993) e citado

por Rocha e Baranauskas (2003), apresentado na Figura 5. Este modelo é derivado da

extensa análise da prática corrente de design à época. Ele apresenta a avaliação como

centro do processo.

Figura 5: Modelo Estrela desenvolvido por Hix e Hartson (1993)

Para Rocha e Baranauskas (2003), a avaliação possui três grandes objetivos: avaliar

a funcionalidade do sistema, avaliar o efeito da interface junto ao usuário e identificar

problemas específicos do sistema.

Morandini (1998, p.8) afirma que “muitos dos fracassos de softwares projetados

para auxiliar grupos, não são devidos a problemas técnicos, mas sim, em não se considerar

Implementação

Design Conceitual Design Formal

Especificação de requisitos Prototipação

Análise de tarefa Análise funcional

Avaliação

33

os fatores sociais e humanos no que tange à interação com estes softwares”.

Avaliar a usabilidade é proceder para a aquisição de informações sobre o grau de

usabilidade de um sistema a fim de aprimorar sua interface, caso esta esteja em

desenvolvimento, ou simplesmente avaliá-la, caso esta já esteja pronta.

Segundo Cybis (2003), “a avaliação de usabilidade de um sistema interativo tem

como objetivos gerais (i) validar a eficácia da interação humano-computador face à efetiva

realização das tarefas por parte dos usuários, (ii) verificar a eficiência desta interação, face

os recursos empregados (tempo, quantidade de incidentes, passos desnecessários, busca de

ajuda, etc.) e (iii) obter indícios da satisfação ou insatisfação (efeito subjetivo) que ela

possa trazer ao usuário. Estes objetivos devem ser pensados em relação aos diferentes

contextos de operação previstos para o sistema. A usabilidade de um sistema está sempre

associada às características de determinados tipos de usuários, tarefas, equipamentos e

ambientes físicos e organizacionais. Assim, um problema de usabilidade pode se fazer

sentir fortemente em determinados contextos de operação e ser menor ou mesmo

imperceptível, em outros”.

Os autores da área de usabilidade não chegaram a um consenso a respeito da

diferença existente entre métodos de avaliação de usabilidade e técnicas de avaliação de

usabilidade. Adotou-se a definição elaborada por Nascimento Junior (2000) citado por

Soares (2004) que diz: “Técnica de avaliação refere-se a um procedimento com natureza

única que visa a identificação de problemas de usabilidade. Método de avaliação são

agrupamentos estruturados de técnicas para identificação de problemas de usabilidade”.

Mesmo para classificar as diversas técnicas existentes para a avaliação da

usabilidade, são encontrados, também, diversos enfoques e discordância entre os autores

quanto à classificação.

Para Nielsen (1994) citado por Soares (2004), as técnicas são classificadas em:

� Automática: as especificações listadas para a interface analisada e o resultado

final sofrem um processo comparativo por meio de softwares projetados para

esse fim.

� Empírica: funciona por meio da observação. A usabilidade da interface é posta

à prova por meio de testes com os usuários reais. É a forma de avaliação mais

utilizada, mas ainda apresenta um custo elevado.

� Formal: a usabilidade é medida através de modelos e fórmulas. Apresenta

dificuldades de aplicação, principalmente com interfaces altamente interativas e

complexas.

34

� Informal: baseadas em regras heurísticas e de experiência, conhecimentos ou

habilidades pessoais do avaliador ou de grupos interdiciplinares.

Shneiderman (1998) as dividem levando em conta três fatores: a forma de

condução da avaliação; o ambiente onde se dá a avaliação e os avaliadores

envolvidos: especialistas usuários ou ambos.

Rocha e Baranaukas (2000) classificam as técnicas da seguinte maneira:

� Inspeções de usabilidade: sem a participação dos usuários. Pode ser aplicada em

qualquer fase do desenvolvimento de um sistema, podendo este já estar em uso

ou não.

� Testes de usabilidade: centrados nos usuários. Para poder ser utilizado, essa

técnica exige alguma forma de implementação do sistema, que pode ser desde

uma simulação, até um cenário, um protótipo ou o próprio sistema já

implementado e em uso.

Preece et al., 1994 e Hartson, 1998 (apud Barros, 2003) classificam as técnicas em:

� Formativas: realizadas durante o processo de design. Isso permite mapear os

problemas de interação que a interface apresentará antes mesmo de sua

implementação ou, pelo menos, antes que o sistema tenha sido concluído.

� Somativas: as avaliações são iniciadas somente após o término do produto.

Para Couto (1999) citado por Barros (2003), as técnicas classificam-se em dois

grupos:

� Analíticas: realizada sem a presença do usuário.

� Empíricas: realizada com a presença do usuário.

Já para Dias (2003), as técnicas se subdividem em três grupos:

� Teste com os usuários: a participação direta dos usuários é constante.

� Baseada em modelos ou de modelagem analítica: a partir de modelos ou

representações de sua interface (e/ou de seus usuários), busca chegar ao seu

melhor modo de uso, ou seja, a sua usabilidade.

� Técnica de inspeção ou analítica ou de prognóstico: a participação direta do

usuário do sistema não acontece.

35

Finalmente, a classificação de Cybis (2003), que será seguida neste trabalho,

classifica as técnicas de avaliação de usabilidade em três grandes grupos: As técnicas

preditivas ou diagnósticas; técnicas prospectivas; e técnicas empíricas. Os próximos

tópicos detalharam cada uma das técnicas de avaliação de usabilidade.

2.3.2.1 Técnicas Preditivas ou Diagnósticas

As técnicas preditivas ou diagnósticas dispensam a participação direta de usuários nas

avaliações. Baseiam-se em verificações e inspeções de versões intermediárias ou acabadas

de software interativo, feitas pelos projetistas ou por especialistas em usabilidade. Elas

podem ser classificadas como: avaliações analíticas; avaliações heurísticas; e inspeções por

Checklists.

Avaliação analítica

As avaliações analíticas envolvem a decomposição hierárquica da estrutura da

tarefa para verificar as interações propostas.

Avaliação Heurística

A avaliação heurística representa um julgamento de valor sobre as qualidades

ergonômicas das interfaces humano-computador. Essa avaliação é realizada por

especialistas em ergonomia, baseados em sua experiência e competência no assunto. Eles

examinam o sistema interativo e diagnosticam os problemas ou as barreiras que os

usuários provavelmente encontrarão durante a interação (Cybis, 2003).

Uma heurística é um enunciado que sintetiza um problema de usabilidade.

Especialistas em usabilidade desenvolveram conjuntos de heurísticas que tentam cercar

todos os problemas relacionados à usabilidade de uma interface qualquer. Existem as 10

(dez) heurísticas de Nielsen e Molich (1990) voltadas para aplicativos, mas que são

amplamente utilizadas como base para a avaliação de interfaces genéricas. Nelas, Nielsen,

a partir de enunciados, cerca problemas relacionados à usabilidade de interfaces. Abaixo,

são enumeradas as 10 (dez) heurísticas desenvolvidas por Nielsen e Molich:

1) Diálogos simples e naturais

2) Falar a linguagem do usuário

3) Minimizar a sobrecarga de memória do usuário

36

4) Consistência

5) Feedback

6) Saídas claramente marcadas

7) Atalhos

8) Boas mensagens de erro

9) Prevenir erros

10) Ajuda e documentação

Como foi dito anteriormente, para executar esse método de avaliação, o avaliador

deve possuir grande experiência, pois deverá interpretar corretamente as heurísticas e

relacionar os erros encontrados a cada uma delas. Contudo, nada impede que o próprio

avaliador construa seu grupo de heurísticas pessoais para problemas específicos. Dias

(2001), desenvolveu sete heurísticas que têm como objetivo orientar a avaliação de sites

web corporativos:

1) Visibilidade e reconhecimento do estado ou contexto atual, e condução do usuário:

Esta heurística refere-se aos meios disponíveis para informar, orientar e conduzir o

usuário durante a interação com o portal corporativo.

2) Projeto estético e minimalista: Esta heurística refere-se às características que possam

dificultar ou facilitar a leitura e a compreensão do conteúdo disponível no portal. Dentre

essas características, destacam-se a legibilidade, a estética e a densidade informacional.

3) Controle do usuário: Esta heurística relaciona-se ao controle que o usuário sempre deve

ter sobre o processamento de suas ações pelo portal.

4) Flexibilidade e eficiência de uso: Esta heurística diz respeito à capacidade do portal em

se adaptar ao contexto e às necessidades e preferências do usuário, tornando seu uso mais

eficiente.

5) Prevenção de erros: Esta heurística relaciona-se a todos os mecanismos que permitem

evitar ou reduzir a ocorrência de erros, assim como corrigir os erros que porventura

ocorram.

6) Consistência: Consistência refere-se à homogeneidade e coerência na escolha de opções

durante o projeto da interface do portal (denominação, localização, formato, cor,

linguagem). Contextos ou situações similares devem ter tratamento e/ou apresentação

similares.

7) Compatibilidade com o contexto: Esta heurística refere-se à correlação direta entre o

37

portal e seu contexto de aplicação. As características do portal devem ser compatíveis com

as características dos usuários e das tarefas que estes pretendem realizar com o portal.

As avaliações heurísticas produzem resultados com baixos custos, além de

conseguir identificar um grande número de problemas de usabilidade de maneira bastante

rápida quando comparada aos outros métodos de avaliação. Contudo, seus resultados

dependem da experiência e competência do avaliador. A avaliação heurística depende da

carga de conhecimento e experiência que as pessoas possuem na hora da avaliação, ou seja,

os resultados finais são obtidos de forma subjetiva e, com isso, exige um número razoável

de avaliadores para realizarem o teste de forma confiável. Esse número de avaliadores vai

depender da análise dos recursos disponíveis e os objetivos da avaliação.

Inspeção Ergonômica via checklist

As inspeções por checklists têm esse o objetivo da avaliação heurística, mas

dependem menos do conhecimento agregado à ferramenta de inspeção, uma vez que se

destinam a pessoas sem uma formação específica em ergonomia.

Segundo Cybis (2003), um checklist visa realizar uma inspeção sistemática da

qualidade ergonômica na interface, possibilitando o conhecimento de modo informal das

questões e recomendações ergonômicas que podem contribuir nas decisões e processos de

interface com o usuário. Nessa técnica, a qualidade da ferramenta (checklist) determina a

qualidade da avaliação.

O checklist pode ser aplicado por profissionais não especializados em análise

ergonômica, mas que possuam um conhecimento sobre o software a ser avaliado e sobre

seu contexto técnico (Matias, 1995).

A inspeção ergonômica via checklist se dá através de listas de verificação que

proporciona aos profissionais não especializados em ergonomia diagnosticarem

rapidamente problemas de usabilidade em interfaces. Essa metodologia garante menores

custos, quando comparada às outras técnicas de avaliação de usabilidade, e uma maior

rapidez nos diagnósticos dos problemas.

Cybis (2003) diz que “os inspetores são conduzidos no exame da interface através

de uma grade de análise e/ou de lista de questões a responder sobre a ergonomia do

projeto. Os resultados obtidos através dessa técnica dependem da organização e do

conteúdo, geral ou específico, dessas ferramentas”. Assim, os resultados produzidos se

apresentam de maneira uniforme, sem grandes distorções entre os avaliadores.

Esse método também apresenta a facilidade na identificação de problemas como

38

ponto forte. Devido à sua facilidade e eficácia, esse método apresenta-se com um baixo

custo quando comparado com os demais métodos de avaliação de usabilidade.

Matias (1995) relata que o “Checklist mostrou ser uma ferramenta capaz de dar

suporte à avaliação preliminar da interface, pois consegue identificar a maior parte dos

problemas detectados por uma análise ergonômica completa que envolva a utilização de

outras técnicas, aumentando a eficácia da avaliação”.

Segundo Cybis (2003), a avaliação realizada através de checklists apresenta as

seguintes potencialidades:

a) Possibilidade de ser realizada por projetistas, não exigindo especialistas em

interfaces humano-computador, que são profissionais mais escassos no mercado. Essa

característica deve-se ao fato do conhecimento ergonômico estar embutido no próprio

checklist;

b) Sistematização da avaliação, que garante resultados mais estáveis mesmo quando

aplicada separadamente por diferentes avaliadores, pois as questões/recomendações

constantes no checklist sempre serão efetivamente verificadas;

c) Facilidade na identificação de problemas de usabilidade, devido à especificidade

das questões do checklist;

d) Aumento da eficácia de uma avaliação, devido à redução da subjetividade

normalmente associada a processos de avaliação;

e) Redução de custo da avaliação, pois é um método de rápida aplicação.

O ErgoList é uma ferramenta que implementa a técnica de avaliação em questão. O

ErgoList é um Checklist desenvolvido no laboratório de utilizabilidade (LabIUtil) ligado

ao Departamento de Informática e Estatística e ao Departamento de Produção de Sistemas

da Universidade Federal de Santa Catarina. Tem como objetivo realizar a avaliação

autônoma das qualidades ergonômicas de interfaces homem-computador e é

disponibilizado via Web/Internet. Nesse ambiente, o avaliador pode verificar e analisar a

interface de um aplicativo.

A ferramenta funciona da seguinte maneira: o avaliador acessa o endereço do

ErgoList (www.labiutil.inf.ufsc.br/ergolist/), uma página de boas vindas e contendo

informações sobre a ferramenta é mostrada. A partir daí o usuário escolhe entre três

módulos, que são:

• O Checklist, que ajuda o avaliador a realizar uma inspeção sistemática da

qualidade ergonômica da interface com o usuário de seu sistema. Ainda dentro

39

desse módulo o usuário pode se utilizar da opção "Laudo Final", que permite ao

usuário obter a estatística das inspeções realizadas bem como recuperar os

comentários feitos durante a avaliação;

• Questões, que dão a possibilidade de conhecer, de modo informal, as questões

que compõem o módulo Checklist.

• Recomendações, onde se localizam as recomendações ergonômicas que podem

auxiliar nas decisões de projeto de interfaces com o usuário.

O usuário tem ainda à sua disposição glossário dos termos, os enunciados das

questões e informações complementares sobre os mesmos. Dentro das informações

complementares o avaliador tem acesso ao "mais sobre", que contém justificativas,

exceções, exemplos positivos e negativos e referências bibliográficas das questões.

2.3.2.2 Técnicas Prospectivas

As técnicas prospectivas estão baseadas na aplicação de questionários/entrevistas

com o usuário para avaliar sua satisfação ou insatisfação em relação ao sistema e sua

operação. Ela mostra-se bastante pertinente na medida em que é o usuário a pessoa que

melhor conhece o software, seus defeitos e qualidades em relação aos objetivos em suas

tarefas. De acordo com Shneiderman (1998), a realização de pesquisas de opinião,

especialmente através da aplicação de questionários, está entre as técnicas mais utilizadas

para avaliação de usabilidade.

O questionário é um “conjunto de perguntas sobre um determinado tópico que não

testa a habilidade do respondente, mas mede sua opinião, seus interesses, aspectos de

personalidade e informação biográfica” (Günter, 1999 apud Lima, 2003).

A partir de questionários, os avaliadores detectam as impressões dos usuários

causadas pelo sistema durante a sua interação. Além disso, através dos questionários, os

avaliadores conseguem determinar o perfil do usuário entrevistado, suas dificuldades de

interação com o sistema e sugestões. O questionário pede ser adotado em qualquer fase de

desenvolvimento do sistema.

Segundo Pimenta (2003), um questionário pode ser estruturado, semi-estruturado

ou misto. O questionário estruturado é formado por questões fechadas e o semiestruturado

é formado por questões abertas. No questionário semiestruturado, as questões são

padronizadas, mas as respostas ficam a critério do entrevistado. Uma vantagem deste

40

modelo é que ele permite que o entrevistado manifeste suas opiniões, seus pontos de vista e

argumentos, o que não ocorre com o questionário estruturado. Já o questionário misto pode

conter tanto questões abertas quanto fechadas. Um espaço para opiniões e sugestões livres

deve sempre ser proposto ao usuário. O que determina o tipo de questionário a ser

elaborado é o propósito da pesquisa a ser realizada.

De acordo com a literatura em usabilidade, a opção por esta forma de avaliação tem

várias justificativas, pois é relativamente barata; permite determinar o grau de severidade

das falhas detectadas e, conseqüentemente, estabelecer prioridades para as ações

interventivas; possibilita estimar o impacto mercadológico das qualidades e falhas

encontradas no produto; é um bom complemento para os testes e inspeções de usabilidade

(Nielsen e Molich, 1990; Shneiderman, 1998).

Nielsen e Molich (1990) ensinam que, tradicionalmente, um modelo de

questionário baseia-se nas experiências e heurísticas particulares de seus elaboradores. À

medida que é utilizado em pesquisas reais ou simuladas, o modelo depara-se com

circunstâncias e necessidades não previstas inicialmente. Estes fatores determinam os

ajustes e refinamentos, que aplicados sucessivamente, permitirão a evolução das questões e

dos dados de qualificação da amostra populacional.

2. 3.2.3 Técnicas Empíricas

As técnicas empíricas contam com a participação direta de usuários. Referem-se

basicamente aos ensaios de interação e os sistemas de monitoramento, que são sessões com

sistemas espiões.

Ensaios de Interação ou Testes de Usabilidade

“Um ensaio de interação consiste de uma simulação de uso do sistema da qual

participam pessoas representativas de sua população alvo, tentando fazer tarefas típicas de

suas atividades, com uma versão do sistema pretendido. Sua preparação requer um trabalho

detalhado de reconhecimento do usuário alvo e de sua tarefa típica, para a composição dos

cenários que serão aplicados durante a realização dos testes”(Cybis, 2003).

Para Moura (1997) citado por Lima (2003), a tarefa de testar a usabilidade de um

produto de software não é uma tarefa tão simples. Para se realizar um teste de usabilidade é

necessário um grande número de técnicas e investimento em recursos, incluindo

especialistas treinados trabalhando em laboratórios especiais e equipamento de registro

41

sofisticado. Entretanto, mesmo o investimento mais simples, de um escritório ou sala de

conferência, filmadora, cronômetro e bloco de notas envolve um grande número de

técnicas.

O cenário ideal para a realização dos ensaios de interação deve induzir à realização

das tarefas, encobrindo a artificialidade do teste que estará sendo realizado. Cada cenário

deve dar aos participantes todas as informações necessárias para a execução da tarefa,

estando diretamente ligado à situação que se quer criar. A idéia é fazer com que os

usuários recrutados para o teste sintam-se como usuários reais, que estão usando o produto

em seus ambientes naturais.

Sistemas de Monitoramento

Sistemas de Monitoramento ou Sistemas Espiões são ferramentas informatizadas

utilizadas em avaliações empíricas, ou seja, avaliações onde existe a participação direta do

usuário. Os sistemas de monitoramento ficam residentes no computador do usuário e

registram toda a interação com a interface que está sendo avaliada.

Segundo Cybis (2003) “esta técnica permite contornar dois inconvenientes dos

ensaios de interação. Pois mesmo que os usuários estejam cientes dos testes, os sistemas

espiões não causam constrangimentos ao usuário e capturam as interferências causadas por

sua realidade do trabalho. Por outro lado, não há como incentivar ou registrar as

verbalizações dos usuários. Os sistemas espiões apresentam também limitações de ordem

técnica, relacionadas principalmente, a portabilidade das ferramentas de espionagem face a

diversidade de ambientes de programação existentes. A quantidade de dados a tratar pode

se tornar muito grande. Dessa forma, a duração dos testes deve ser bem planejada pelos

analistas.”

A tabela 2 apresenta um resumo da classificação adotada neste trabalho.

42

Classificação das Técnicas Característica Exemplos de Técnicas


Preditiva ou Diagnóstica

As técnicas diagnósticas dispensam a participação direta de usuários nas avaliações. Baseiam-se em verificações e inspeções de versões intermediárias ou acabadas de software interativo, feitas pelos projetistas ou por especialistas em usabilidade.

Inspeção Ergonômica via Checklist

Prospectiva

Está baseada na aplicação de questionários/entrevistas com o usuário para avaliar sua satisfação ou insatisfação em relação ao sistema e sua operação. Ela mostra-se bastante pertinente na medida em que é o usuário a pessoa que melhor conhece o software, seus defeitos e qualidades em relação aos objetivos em suas tarefas.

Aplicação de Questionários

Ensaios de Interação ou Teste de Usabilidade Empíricas

As técnicas empíricas contam com a participação direta de usuários. Sistemas de Monitoramento

Tabela 2: Classificação das Técnicas de Avaliação de Usabilidade (Cybis, 2003)

2.3.3 A questão da escolha da técnica de avaliação

A avaliação de usabilidade de qualquer interface não deveria utilizar-se de apenas

uma técnica de avaliação (Padilha, 2003). Cada uma das técnicas apresenta pontos

positivos e pontos negativos durante o processo de avaliação. O ideal é que seja proposto

um método que possa abranger mais de uma técnica de tal forma que estas se

complementem e que o resultado da avaliação da usabilidade consiga englobar o maior

número que problemas que sejam realmente importantes e decisivos para que uma

interface se torne usável.

Para Rocha e Baranauskas (2003), na maioria das situações práticas uma ou mais

técnicas de avaliação são adotadas e adaptadas de forma a atender as necessidades

específicas da interface sob avaliação. Geralmente os recursos disponíveis têm um grande

impacto no tipo de avaliação a ser feita. Portanto, selecionar o método de avaliação

adequado envolve escolher, misturar e adaptar técnicas a partir do conjunto de técnicas

43

disponíveis. Muitos estudos demonstram que muitos problemas encontrados por técnicas

preditivas não são detectados com testes nos quais existe a participação do usuário e vice-

versa. Esses estudos sugerem que os melhores resultados são obtidos combinando testes

com usuários e avaliações preditivas. A tabela 3 apresenta as vantagens e desvantagens da

aplicação de algumas técnicas de avaliação de usabilidade.

TÉCNICA VANTAGEM DESVANTAGEM

Avaliação heurística

Avaliação rápida, abrangente.

- Requer conhecimento e experiências do avaliador.

- São necessários de três a cinco avaliadores para um bom

resultado. - Subjetiva e pouco sistemática.

Avaliação via checklist

- Avaliação barata, rápida, sistemática e de fácil aplicação. - Outra pessoa não especializada

em usabilidade pode aplicar.

- Limitada a problemas intermediários e menores. - Depende da qualidade da

ferramenta (cheklist).

Questionários

Importantes para obter informações dos usuários a respeito do sistema, de suas

ansiedades e de sua satisfação.

Torna-se difícil a aferição da confiabilidade e validade de

seus resultados. Taxa de respostas pode ser

muito baixa.

Ensaios de interação

- Evita problemas de menor importância.

- Fornece idéias para o projeto através das sugestões dos

usuários. - Promove a participação do

usuário. - Não necessita de grande número de especialistas.

- Os problemas realmente são de impacto aos usuários.

Avaliação demorada e de alto custo não identifica os

problemas de consistência. Pode afetar o comportamento

dos utilizadores.

Sistemas de Monitoramento

Detecta funcionalidades mais usadas ou ignoradas pelos usuários. Pode ser usado

continuamente.

São necessários programas de análise para uma grande massa de

dados. Viola a privacidade do usuário.

Tabela 3: Vantagens e desvantagens das técnicas de avaliação de usabilidade

Fonte: Padilha, 2003.

Desurvire (1994) citado por Almeida (2005) comparou métodos de avaliação, com

e sem a participação do usuário, quanto à capacidade de detectar problemas de usabilidade

(Tabela 2.3). Durante os testes em laboratório, 25 problemas reais foram detectados. Já os

29 Problemas Potenciais expressam os problemas que não ocorreram em laboratório, mas

foram identificados por meio de métodos sem a participação do usuário. Essa diferença

44

reforça a necessidade de se usar métodos com e sem a participação do usuário para

aumentar as chances de se encontrar problemas de usabilidade.

Método Avaliadores Problemas que

Realmente Ocorrem

Problemas Potenciais Melhorias

Avaliação Empírica (em laboratório)

Observação de usuários 25 29 31

Experientes 44% 31% 77% Desenvolvedores

de Software 16% 24% 3%


Não Experientes 8% 3% 6% Experientes 28% 31% 16%

Desenvolvedores de Software

16% 21% 3% Cognitive

Walkthrough Não Experientes 8% 7% 6%

Tabela 4: Comparação entre métodos de avaliação de Usabilidade

Fonte: Adaptado de Desurvire (1994) apud Almeida (2005)

2.4 Pesquisas relacionadas

Esta seção apresenta uma síntese dos principais trabalhos acadêmicos encontrados

na pesquisa ao Banco de Teses da Capes (Capes, 2006). A pesquisa bibliográfica deu mais

ênfase à produção mais restrita ao âmbito nacional.

Barros (2003) descreve, em sua dissertação, a avaliação da interface de um

aplicativo denominado Sistema de Informatização Processual para Primeira Instância da

Justiça Trabalhista (SIP), que visa à realização de tarefas jurisdicionais, tendo em vista a

melhoria das condições de trabalho dos serventuários da justiça e a agilidade dos serviços

prestados à comunidade. Para a avaliação da interface do SIP, utilizou-se a técnica

Pensando em Voz Alta e a Aplicação de Questionário, sendo esse elaborado segundo

critérios ergonômicos. Para finalizar, foi realizada uma análise gráfica do design das telas

do aplicativo.

Em sua dissertação, Oliveira (2001a) avalia ergonomicamente as interfaces que

compõem o site SciELO (Scientific Eletronic Library Online). Nessa avaliação, foram

levantados problemas e qualidades da interface, através de Inspeção por Checklist, sob a

luz dos critérios ergonômicos, criando assim, o pré-diagnóstico que serviu de hipótese para

Ensaios de Interação. Com base nos resultados obtidos nas atividades de avaliação, foram

45

listados os principais problemas e qualidades de usabilidade da interface, bem como as

recomendações ergonômicas que visam auxiliar a resolução dos problemas levantados.

Soares (2004) aborda a avaliação de usabilidade de um software gerenciador de

websites, denominado Proweb. O objetivo principal foi medir o índice de satisfação dos

usuários finais, em relação à interface do software. Foram coletadas as opiniões dos

usuários especialistas em usabilidade para se comparar com a opinião dos usuários finais.

A avaliação seguiu os critérios ergonômicos de Bastien e Scapin, e a satisfação do usuário

foi avaliada por questionário. A usabilidade do software Proweb em geral foi baixa,

principalmente no critério Adaptabilidade, apesar dos usuários estarem satisfeitos com o

software.

Bohmerwald (2003) apresenta uma pesquisa, realizada no curso de Mestrado da

Escola de Ciência da Informação da Universidade Federal de Minas Gerais (UFMG), que

propõe que os estudos das áreas da ciência da informação e ciência da computação sejam

usados conjuntamente, complementando-se, com o intuito de se analisar de forma

abrangente um sistema de informação em relação à sua interação com o usuário. Para teste

da metodologia proposta, foi usada a Biblioteca Digital da PUC-Minas (BDP). A

metodologia é composta por cinco etapas: (1) questionário sobre o contexto do usuário; (2)

teste de usabilidade em laboratório; (3) questionário de satisfação; (4) estudo do

comportamento de busca dos usuários através do teste com busca livre; (5) análise do log.

Almeida (2005) validou o uso de operadores pedagógicos no contexto de EAD,

verificando se a organização e estruturação de conteúdo, resultantes do uso de operadores

no material instrucional, aumentam a usabilidade do hiperdocumento e conseqüentemente

sua qualidade. Para avaliar o uso dos operadores cognitivos no contexto de EAD, foram

realizados estudos comparativos nos quais foram aplicadas avaliações de usabilidade em

hiperdocumentos com e sem o uso dos operadores. A avaliação da usabilidade aconteceu a

partir dos métodos Teste de Usabilidades, Avaliação Heurística e Questionário com

diretivas de usabilidade para o conteúdo para a Web.

Padilha (2004) propôs, aplicou e avaliou um questionário, baseado nos conjuntos de

normas e recomendações ergonômicas existentes na Web, destinado a todos os criadores

de conteúdo Web (autores de páginas e Webdesigner) como ferramenta para a avaliação da

usabilidade de sites de Comércio Eletrônico. A pesquisa gerou um modelo de questionário

de avaliação de satisfação de clientes de produtos de sites de Comércio Eletrônicos,

baseado nas várias normas, diretrizes e recomendações ergonômicas existentes, adaptando-

as aos sites de Comércio Eletrônico.

46

Medeiros (1999) apresenta uma proposta de utilização da norma ISO 9241/10 –

Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs) - para a

determinação do grau de satisfação de usuários com relação a produtos de software. Ele

propõe uma estrutura de correlação entre os critérios avaliados pelo questionário e as

partes da norma relativas à adequação ergonômica do software. Ele também elabora uma

metodologia para análise dos resultados e intervenção sobre as falhas.

Reitz (2004) apresenta a aplicação de uma metodologia de avaliação qualitativa

para medir a usabilidade de websites de Educação à Distância (EaD) na tecnologia de Web

Based Training (WBT). O método de inspeção é baseado em recomendações ergonômicas

específicas ao ambiente de EaD, compiladas conforme os Critérios Ergonômicos (CE) e

Componentes de Interação Homem-Computador. Os resultados são apresentados sob

forma de recomendações ergonômicas para o reprojeto do website, visando a melhoria da

qualidade de interação do usuário com a interface. A Técnica de Avaliação de Co-Inspeção

Ergonômica utilizada é considerada especificamente para inspecionar de forma

ergonômica websites de cunho educacional.

Santos (2000) apresenta a usabilidade como ponto fundamental a ser considerado

em um projeto de interface e a necessidade de se adotar procedimentos metodológicos na

execução de projetos de interfaces para web. É apresentado o método de avaliação

heurística como ferramenta eficaz para a avaliação da usabilidade da interface ao longo do

ciclo de projeto.

Kulczynskyi (2002) analisa três fatores relacionados à usabilidade de websites: as

animações, as propagandas e as formas de auxílio, bem como a influência dos diferentes

tipos de conexão com a Internet nestes fatores. Eles foram pesquisados através da literatura

existente e de um questionário composto de perguntas de múltipla-escolha, onde foram

abordados vários pontos a respeito de cada assunto. A metodologia utilizada foi baseada no

estudo de Tom Landauer e Jakob Nielsen, onde são necessários no mínimo 5 informantes

para se descobrir 80% dos problemas envolvendo usabilidade. No trabalho, foram

utilizados 15 informantes. Os resultados foram divididos por fatores e expostos em tabelas,

mostrando-se a porcentagem obtida em cada resposta das perguntas do questionário.

Aragão (2001) aborda a percepção do usuário sobre o fator usabilidade das páginas

de sites de comércio eletrônico, segundo a ótica da ergonomia. Utilizando-se do

Questionário de Usabilidade, ele procurou validar esse critério para as páginas de sete sites

de empresas que utilizam o comércio eletrônico, onde foi possível avaliar, dentre outros

fatores, a facilidade de navegação do usuário, a compreensão de seus componentes e a

47

interação do usuário com o site. Após a análise dos sete sites de comércio eletrônico,

constaram-se os seguintes resultados: os sites que possuíam critérios de usabilidade

possibilitaram uma maior interação e facilidade de navegação; o questionário desenvolvido

para avaliar o critério usabilidade teve fácil aplicação e possibilitou uma avaliação rápida e

objetiva; o tempo necessário para realizar uma compra foi menor nos sites que possuíam

mais recursos de usabilidade.

Carvalho (2004) realiza uma avaliação da usabilidade da interface de dispositivos

móveis (como os handhels), quando utilizados em aplicações de apoio ao ensino à

distância. Esta avaliação foi possível por meio da análise dos dados obtidos em um

experimento prático, com a apresentação de uma aula à distância, transmitida por uma rede

sem fio. A avaliação foi operacionalizada através de: coleta de opinião de usuários através

de questionário, observação do usuário durante a sua utilização do ambiente e a coleta da

opinião de especialista através da avaliação Heurística.

Lima (2003) avalia a usabilidade da urna eletrônica 2002 e o módulo de impressão

externo, bem como fornece informações ao Tribunal Superior Eleitoral - TSE para

subsidiar a realização de uma pesquisa abrangente em todo o território nacional, buscando

a construção de uma versão de interface para a urna eletrônica que seja a mais adaptada

possível às características e particularidades de seus usuários: os eleitores. A trajetória

metodológica utilizada foi a Análise Ergonômica do Trabalho – AET, proposta por Guérin

(2001). Os procedimentos realizados foram a Avaliação Heurística; Inspeção Ergonômica;

Observações Globais e Sistemáticas da interação; Inspeção Cognitiva; Entrevistas abertas e

semi-estruturadas com profissionais da área de Informática do Tribunal Superior Eleitoral

– TSE, Tribunal Regional Eleitoral de Santa Catarina – TRE-SC, Tribunal Regional

Eleitoral do Distrito Federal – TRE-DF, entrevistas abertas e semi-estruturadas com:

profissionais da área de informática do TSE, TRE/DF, TRE/SC, mestrandos e doutorandos

de Informática e Engenharia de Produção e Sistemas da Universidade Federal de Santa

Catarina – UFSC, mestrandos e doutorandos de Psicologia e Desenho Industrial da

Universidade de Brasília – UnB, mesários, escrutina dores, eleitores, e outros profissionais

envolvidos no sistema de votação eletrônico; validação e aplicação de instrumento tipo

survey e Análise da Atividade de votação.

Nascimento Junior (2000) apresenta a proposta de arquitetura do Sistema Revisor

Ergonômico, sistema para avaliação automática de usabilidade. A proposta adota a

tecnologia de sistemas inteligentes, unindo Sistemas Especialistas e Reconhecimento de

Padrões. Os principais resultados do trabalho são: a modelagem dos conhecimentos

48

ergonômicos sobre os objetos de interação com o usuário e uma descrição estruturada das

classes de objetos de interface com uma perspectiva de avaliação da usabilidade.

49

Capítulo 3 - Metodologia da Pesquisa

Este capítulo apresenta a classificação da pesquisa quanto a sua natureza, quanto à

forma de abordagem, do ponto de vista de seus objetivos e do ponto de vista dos

procedimentos técnicos. Apresenta também o universo e a amostra da pesquisa além de

expor como se procedeu a coleta e a análise dos dados.

3.1 Classificação da pesquisa

Do ponto de vista da sua natureza, a pesquisa é aplicada, pois objetiva

conhecimentos para aplicação prática e dirigida à solução de problemas. Quanto à forma de

abordagem do problema, a pesquisa pode ser classificada como quantitativa e qualitativa,

pois foram efetivadas duas etapas de pesquisa com metodologias distintas. Na primeira

etapa da pesquisa, que consistiu da realização da avaliação preditiva/diagnóstica, a

pesquisa pode ser classificada como qualitativa, que é aquela em que se considera que há

uma relação dinâmica entre o mundo real e o sujeito, isto é, um vínculo indissociável entre

o mundo objetivo e a subjetividade do sujeito que não pode ser traduzido em números

(Silva e Menezes, 2005). Na segunda etapa da pesquisa, que envolveu uma pesquisa de

campo com alunos e professores, a pesquisa classifica-se como quantitativa, pois sua

natureza é a de considerar que tudo pode ser quantificável. Significa que as opiniões e

informações dos usuários foram traduzidas em números para classificá-las e analisá-las

estatisticamente.

No que se refere aos seus objetivos, esta pesquisa classifica-se como descritiva,

pois envolve técnicas padronizadas de coleta de dados e visa descrever as características de

determinada população ou fenômeno (Silva e Menezes, 2005).

3.2 Universo e Amostra

O estudo está delimitado à avaliação de três ambientes virtuais de apoio à educação

à distância: Aulanet, TelEduc e E-proinfo. A escolha destes ambientes seguiu três critérios:

50

que fossem de distribuição gratuita; possuíssem seus códigos fonte abertos; e tivessem sido

desenvolvidos no Brasil. Com relação ao ambiente E-proinfo, este é de distribuição

gratuita, mas é restrito apenas para as instituições de ensino do governo federal. Mas, uma

vez que a pesquisa ocorreu dentro de uma instituição federal de ensino, tornou-se viável a

sua inclusão no escopo da pesquisa.

A primeira etapa da pesquisa foi realizada pelo próprio pesquisador, juntamente

com um aluno concludente do curso de Sistemas de Informação do Centro Federal de

Educação Tecnológica do estado do Piauí. Como o objetivo é realizar a avaliação

preditiva, do tipo diagnóstica, não era necessária a participação de usuários. O instrumento

de coleta utilizado foi o checklist, via Ergolist.

A escolha dos avaliadores é justificada por Cybis (2003) quando diz que a

avaliação por checklist não exige a participação de especialistas em interface humano-

computador. Essa característica deve-se ao fato do conhecimento ergonômico estar

embutido no próprio checklist, ou seja, a qualidade da avaliação não está relacionada ao

número de avaliadores ou à experiência de cada um deles, mas à qualidade do checklist

utilizado. Ainda segundo Cybis (2003), esta técnica apresenta uma facilidade na

identificação de problemas de usabilidade, devido à especificidade das questões do

checklist e garante resultados mais estáveis mesmo quando aplicada separadamente por

diferentes avaliadores, pois as questões/recomendações constantes no checklist sempre

serão efetivamente verificadas.

Na segunda etapa da pesquisa, de natureza quantitativa, foram escolhidos

usuários aleatoriamente dentre alunos e professores do Centro Federal de Educação

Tecnológica do Piauí. Para compor a amostra, foram escolhidos professores e alunos do

Cefet-PI, pelo fato dos ambientes analisados apresentarem-se com funcionalidades

distintas para cada um dos tipos de usuários, ou seja, professores possuem funções

diferentes dos alunos dentro dos ambientes. Nesta etapa, o instrumento de coleta de dados

utilizado foi o questionário.

O número de participantes nesta fase da avaliação foi escolhido a partir do estudo

feito por Jakob Nielsen. Nilsen (2005), o qual afirma que, a princípio, avaliadores podem,

individualmente, realizar suas avaliações, mas a experiência de diversos projetos indica

que os resultados alcançados são razoavelmente pobres. Calculada a média sobre seis de

seus projetos, ele percebeu que um único avaliador encontra somente 35% dos problemas

de usabilidade da interface. Como avaliadores diferentes tendem a encontrar problemas

diferentes, é possível conseguir um desempenho substancialmente melhor agregando as

51

avaliações de diversos avaliadores. A figura 3.1 mostra a proporção dos problemas de

usabilidade encontrados quando mais avaliadores são adicionados.

Figura 3.1 – Gráfico Usabilidade X Número de Informantes (Nielsen, 2005)

A figura mostra claramente que há um incremento no número de problemas de

usabilidade encontrados quando se usa mais de um avaliador. Percebe-se que, quando

utilizados 15 avaliadores, encontram-se cerca de 80% dos problemas de usabilidade

existentes na interface.

Assim, a pesquisa utilizou trinta usuários na tentativa de detectar a maioria (80%)

dos problemas de interface relacionados à usabilidade dos ambientes. Formaram-se dois

grupos, no total de 30 usuários (15 professores e 15 alunos), pois os ambientes apresentam-

se com funcionalidades distintas para cada um dos tipos de usuários.

3.3 Coleta de dados

Este trabalho propõe a avaliação de usabilidade de ambientes virtuais de educação à

distância que associa técnicas preditivas ou diagnósticas e técnicas prospectivas (com a

participação do usuário). Para tanto, foram definidas duas fases, detalhadas a seguir.

Fase 1: Pesquisa com o Ergolist

Na primeira fase, foi utilizada uma técnica de avaliação diagnóstica (preditiva)

baseada na inspeção ergonômica via checklist, através da utilização do método de

observação direta. O checklist utilizado foi o Ergolist, desenvolvido pelo laboratório de

utilizabilidade (LabIUtil) ligado ao Departamento de Informática e Estatística e ao

Departamento de Produção de Sistemas da Universidade Federal de Santa Catarina, a partir

52

dos critérios ergonômicos de Bastien e Scapin (Anexo I).

Esta primeira fase da pesquisa foi realizada pelo próprio pesquisador juntamente

com um aluno concludente do curso de Sistemas de Informação do Centro Federal de

Educação Tecnológica do estado do Piauí, conforme justificado em 3.2.

Para a realização desta primeira fase, foi necessária uma prévia familiarização dos

pesquisadores com os três ambientes. Para isso, os avaliadores realizaram, para os três

ambientes avaliados, as tarefas propostas nos anexos II e III. Esta primeira etapa de

familiarização foi realizada individualmente por cada um dos avaliadores. Após a

realização das tarefas em cada um dos ambientes, cada avaliador, também individualmente,

respondia às 194 questões do Ergolist, através da observação direta. As respectivas

respostas eram armazenadas para posterior discussão.

Terminada esta primeira etapa, para cada um dos ambientes, foram marcadas

reuniões (em média, 2 para cada ambiente) no Laboratório de Informática para que as

respostas obtidas fossem confrontadas e, quando existia alguma distorção, retornava-se ao

ambiente para que se alcançasse uma resposta comum.

Por questões de disponibilidade de tempo e problemas estruturais da rede lógica do

CEFET-PI, a coleta de dados, para cada um dos ambientes nesta fase, levou, em média,

uma semana, tendo início em meados do mês de abril de 2006 e término no mês de maio

de 2006.

Fase 2: Pesquisa com os usuários

Na segunda fase, foi aplicada uma técnica de avaliação prospectiva, na qual os

usuários do ambiente virtual de aprendizagem respondiam um questionário (Survey), com

perguntas relacionadas aos fatores que afetam a usabilidade da interface do ambiente

(Anexo IV). Os fatores adotados para avaliar a usabilidade da interface dos ambientes

foram os critérios ergonômicos de Bastien e Scapin. A escolha por desenvolver o

questionário a partir de tais critérios deve-se ao fato do checklist utilizado na primeira fase

da pesquisa também ter sido desenvolvido a partir dos mesmos critérios.

Outro fator preponderante na escolha dos critérios ergonômicos foram as validações

já existentes na literatura, pois considera-se que os critérios ergonômicos de Bastien e

Scapin são organizados de maneira coesa e hierárquica, com uma estrutura de fácil

utilização dos requisitos e, por conseqüência, possibilitando a obtenção de resultados mais

precisos na validação e desenvolvimento de interfaces e nos projetos de redesign dos

53

produtos.

A primeira versão do questionário foi submetida a um pré-teste, no qual 20 usuários

participaram (10 professores e 10 alunos). A aplicação do pré-teste aconteceu na segunda

semana do mês de maio de 2006. Terminada a fase de pré-teste, foram observadas as

principais reclamações e sugestões dos usuários com relação ao questionário surgindo,

assim, a segunda e definitiva versão.

O procedimento de aplicação do questionário se deu da seguinte forma. A escolha

dos usuários era feita aleatoriamente e de acordo com a disponibilidade de cada um. Os

participantes convidados eram encaminhados para o Laboratório de Informática, no qual

recebiam mais instruções de como aconteceria a avaliação. Optou-se por fazer avaliações

usando, no máximo, um aluno e um professor por vez. Isso se deve ao fato de todos os

ambientes avaliados disponibilizarem apenas dois logins (um destinado aos professores e

outro aos alunos). O tempo médio de cada avaliação foi bastante variado. Algumas

avaliações duraram, em média, 30 minutos, enquanto outras chegaram a durar duas horas.

Em alguns casos, principalmente com os professores, foi necessário agendar horários para

data futura e a avaliação, algumas vezes, aconteceu, por questões de disponibilidade, na

própria sala do professor.

Os testes tiveram início em meados do mês de maio e encerraram-se no final do

mês de junho de 2006. A demora para a realização dos testes justifica-se pela dificuldade

em dispor de usuários voluntários, dispostos a participarem da avaliação.

Antes de cada teste, foram explicados os conceitos de ambiente virtual de educação

à distância, para garantir a uniformidade de entendimento, e os objetivos do teste.

Explicou-se também que o foco do estudo e objeto de avaliação eram os ambientes e não o

usuário. Esta medida se fez necessária para que nenhum dos usuários se sentisse

pressionado durante a avaliação dos ambientes.

Foi pedido aos usuários que executassem tarefas (Anexos II e III) como forma de

percorrerem os ambientes e se familiarizarem com as interfaces. As tarefas foram criadas

de forma a manter o mesmo nível de complexidade. Como foi exposto anteriormente, o

papel das tarefas era apenas permitir que os usuários conhecessem a interface dos

ambientes.

Durante o teste, não foi imposto nenhum limite de tempo para a realização das

tarefas, apenas o cumprimento delas. Essas tarefas foram preestabelecidas com o intuito de

promover um contato entre os participantes do teste e os ambientes.

54

O Questionário

Como mencionado, nesta fase o instrumento de coleta de dados escolhido foi o

questionário. A escolha da aplicação de questionário, como umas das técnicas de avaliação

de usabilidade adotadas neste trabalho, deve-se ao fato de possuir alta média de

confiabilidade já estabelecida (Dias, 2003); permitir a coleta de dados quantitativos ao

investigar uma situação, podendo as perguntas serem respondidas numa escala que

resultará em um valor numérico (Fogliatto, 2002); possibilidade de estabelecer as

prioridades para ações inteventivas, já que o questionário permite determinar o grau de

severidade das falhas detectadas (Nielsen, 1990); ser o questionário uma das técnicas mais

adequadas para mensuração da satisfação subjetiva e, o de avaliação baseda em critérios,

merecer um atencioso estudo dos seus resultados (Shneiderman, 1998); detectar e

relacionar se os problemas de uso do sistema são inerentes a um tipo de usuários e/ou se é

específico de certas tarefas e, finalmente, sendo mais vantajoso, em relação às outras

técnicas disponíveis, quando a população de usuários a ser avaliada é composta por perfis

segmentados, encontrando-se dispersa geograficamente (Dias, 2003).

Assim, os questionários dirigidos ao usuário final permitem obter, com razoável

grau de precisão, indicadores do nível de satisfação dos usuários, sendo os que avaliam a

satisfação aplicáveis às fases finais do projeto de software, servindo para calibrar a

qualidade do produto (Medeiros, 1999).

O questionário (Anexo IV) é composto por 24 questões. Nas seis primeiras

questões, é traçado o perfil demográfico dos usuários. As perguntas procuram determinar

as seguintes características dos usuários:

- Sexo;

- Faixa Etária;

- Nível de instrução;

- Experiência com computador;

- Tempo de uso da Internet;

- Tipo de usuário.

As dezoito questões restantes são correspondentes a uma adaptação de cada um dos

critérios ergonômicos de Bastien e Scapin (1997). Cada um dos dezoito critérios foi

transformado em uma afirmação da qual o usuário poderia concordar, discordar ou se

manter neutro em sua resposta.

As afirmações de cada uma das questões com seus respectivos critérios

ergonômicos encontram-se na Tabela 5.

55

AFIRMAÇÃO CRITÉRIOS PRINCIPAIS

SUB-CRITÉRIOS

CRITÉRIOS ELEMENTARES

O ambiente oferece informações suficientes para orientá-lo(a) durante a navegação.

Presteza

O ambiente sempre informa, de forma rápida e clara, quando uma determinada ação está sendo ou foi concluída.

Feedback Imediato

O formato, o tamanho e as cores das letras dos textos do ambiente apresentam-se de maneira clara e legível.

Legibilidade

Os botões, imagens e textos sempre aparecem organizados e agrupados a partir de algum critério lógico (ordem alfabética, freqüência de uso etc).

Agrupamento/ Distinção por Localização

Os botões, imagens e textos apresentam-se com formatos e cores diferenciados a fim de distingui-los uns dos outros.

Condução

Agrupamento/ Distinção de

Itens Agrupamento/ Distinção por

Formato Os nomes dos botões e janelas são concisos, ou seja, breves e precisos. Concisão

O número de etapas para a realização de uma tarefa é pequeno.

Brevidade Ações Mínimas

O número de informações apresentado nas telas é aceitável tornando fácil o entendimento do ambiente.

Carga de Trabalho

Densidade Informacional

Você possui total controle sobre o que está sendo feito, ou seja, o computador realiza apenas as tarefas solicitadas e apenas no momento ordenado.

Ações Explícitas do

Usuário

No caso da existência de tarefas seqüenciais, o ambiente possibilita interromper, cancelar ou mesmo reiniciar a tarefa.

Controle Explícito

Controle do Usuário

O ambiente oferece diferentes maneiras para realizar uma mesma tarefa. Flexibilidade

No ambiente, usuários inexperientes recebem informações mais detalhadas que usuários experientes.

Adaptabi-

lidade Experiência do

Usuário

O ambiente sempre indica, por exemplo, através de mensagens, que você está inserindo uma informação errada ou procedendo de maneira inadequada.

Proteção Contra Erros

As mensagens de erro apresentadas pelo ambiente são sempre claras, precisas e bastante explicativas com relação à natureza do erro cometido.

Mensagens de Erro

O ambiente sempre apresenta possíveis soluções quando um erro ocorre.

Gestão de Erros

Correção de Erros

Os botões, símbolos, menus e demais itens são similares entre uma tela e outra. Consistência

Os termos e expressões utilizados no ambiente apresentam uma linguagem de fácil compreensão e entendimento.

Significado

O Ambiente mostrou-se de fácil compreensão facilitando a sua navegação.

Compatibi-lidade

Tabela 5: Afirmações do questionário referente a cada um dos critérios ergonômicos de Bastien e Scapin

56

As respostas foram colhidas a partir da escala do tipo Likert, na qual o usuário

possuía cinco alternativas para escolha:

1 – Discordo plenamente;

2 – Discordo;

3 – Indeciso;

4 – Concordo;

5 – Concordo plenamente.

As ponderações mais altas (alternativas de número 4 e 5) correspondem à

concordância às afirmações favoráveis aos critérios ergonômicos, já as mais baixas

(alternativas 1 e 2), a discordância. A alternativa de número 3 era escolhida pelo usuário

caso este não soubesse ou preferisse não opinar a respeito daquela afirmação.

3.4 Análise dos dados

Para a análise dos dados da pesquisa prospectiva, os dados colhidos na pesquisa

foram analisados a partir da estatística descritiva e, para os dados colhidos na segunda fase

da pesquisa (com a aplicação do questionário), além da estatística descritiva, foram

realizados testes do chi-quadrado. As variáveis de agrupamento e as variáveis de

usabilidade utilizadas no questionário encontram-se na tabela 6 abaixo.

VARIÁVEIS DE AGRUPAMENTO VARIÁVEIS DE USABILIDADE

Ambiente Sexo Faixa Etária Escolaridade Experiência com computador Experiência com Internet Papel

Presteza Feedback Legibilidade Agrupamento por Localização Agrupamento por Formato Concisão Ações Mínimas Densidade Informacional Ações Explícitas Controle do Usuário Flexibilidade Experiência do Usuário Proteção Contra Erros Mensagens de Erros Correção de Erros Consistência Significados Compatibilidade

Tabela 6: Variáveis de agrupamento e de usabilidade

57

Como operacionalização das variáveis, para o teste do chi-quadrado, foram feitas as

seguintes considerações para as respostas dos usuários:

- Concordância: respostas 4 e 5.

- Sem concordância: respostas 1, 2 e 3.

Além da análise anteriormente citada, foi feita uma comparação desses resultados

com os resultados obtidos na primeira fase da pesquisa onde os ambientes virtuais de

educação à distância foram avaliados a partir do checklist Ergolist.

58

Capítulo 4 - Análise e Discussão dos Resultados

Este capítulo descreve os resultados da pesquisa realizada junto aos ambientes

virtuais de educação à distância desenvolvidos no Brasil e de distribuição gratuita.

Inicialmente, são apresentados os dados da avaliação pelo Ergolist, em seguida, são

relatados os achados da avaliação segundo os usuários. Por fim, é feita uma comparação

qualitativa entre os dois tipos de avaliação.

4.1 Avaliação diagnóstica pelo Ergolist A seguir, são apresentados os resultados da avaliação dos ambientes virtuais de

educação à distância Aulanet, eProinfo e Teleduc, a partir do checklist Ergolist. As figuras

apresentam, através de porcentagem, a quantidade de questões do checklist que foram

atendidas para cada um dos critérios ergonômicos analisados.

A figura 6 apresenta a porcentagem de respostas em conformidade com os critérios

ergonômicos de Bastien e Scapin, durante a avaliação da interface do ambiente virtual de

educação à distância Aulanet.

Figura 6: Análise das conformidades de usabilidade do ambiente Aulanet

59

Observou-se que, no ambiente AulaNet, as variáveis experiência do usuário e

flexibilidade (pertencentes à dimensão Adaptabilidade) obtiveram 0% para cada uma

delas. Já as variáveis consistência, ações explícitas, compatibilidade e legibilidade

obtiveram os maiores índices durante a avaliação, 93,3%, 87,5%, 85,7% e 83,3%,

respectivamente.

Segundo Lima (2003), adaptabilidade refere-se à capacidade da interface reagir

segundo o contexto e segundo as necessidades e preferências dos usuários. Quanto mais

numerosas forem as diferentes opções de efetuar uma mesma tarefa, maiores serão as

possibilidades dos usuários dominarem uma delas no decorrer de seu aprendizado. No

contexto do AulaNet, a interface não se adaptou facilmente ao usuário.

A forma das escolhas na concepção da interface (códigos, denominações, formatos,

procedimentos, etc.) são conservadas idênticas em contextos idênticos, e diferentes para

contextos diferentes, para o caso do AulaNet. Os procedimentos, rótulos, comandos etc

foram adequadamente reconhecidos, localizados e utilizados, assim como seu formato,

localização, ou sintaxe são estáveis de uma tela para outra ou de uma seção para outra.

Quanto ao critério ações explícitas, também se observou uma relação explícita o

processamento do sistema e as ações do usuário, assim, foram executadas somente as ações

solicitadas pelos avaliadores.

O critério compatibilidade refere-se ao acordo que possa existir entre as

características do usuário (memória, percepção, hábitos, competências, idade, expectativas,

etc.) e das tarefas, de uma parte, e a organização das saídas, das entradas e do diálogo de

uma dada aplicação, de outra. Da mesma forma, houve similaridade entre diferentes

ambientes e aplicações.

No que se refere à legibilidade, as características lexicais das informações

apresentadas na tela facilitaram a leitura das informações. O contraste de letras, tamanho

da fonte, espaçamento entre linhas e parágrafos, comprimento da linha etc foram

favoravelmente avaliados para o AulaNet.

A figura 7 apresenta o resultado da avaliação feita através do Ergolist para o

ambiente eProinfo. Constata-se que as variáveis significados e ações explícitas obtiveram

100% de conformidade. Isso quer dizer que o significado dos códigos e as denominações

utilizadas no ambiente são bastante claros e expressivos no ambiente E-Proinfo.

Além disso, percebeu-se que há controle, por parte do usuário, sobre as ações do

sistema, ou seja, o ambiente processava apenas as tarefas determinadas pelo usuário e

60

somente no momento em era solicitado.

Para o critério significados, o ambiente E-Proinfo teve um comportamento 100%

satisfatório, no que se refere à adequação entre objeto ou a informação disponibilizada ou

solicitada e sua referência. Assim, os termos possuiam expressão para o usuário podem

proporcionar problemas de condução, levando o usuário a selecionar uma opção não

adequada.

Figura 7: Análise das conformidades de usabilidade do ambiente eProinfo

Em contrapartida, experiência do usuário e flexibilidade obtiveram 0% de

conformidade. Isso significa que o ambiente eProinfo não apresenta uma boa

adaptabilidade, ou seja, o ambiente não é capaz de se adaptar aos diferentes tipos de

usuários atendendo às suas necessidades e preferências. Este mesmo problema foi

detectado durante a avaliação da interface do ambiente Aulanet.

Em relação ao ambiente Teleduc, a figura 8 mostra, da mesma forma como se

observou no ambiente eProinfo, a variável significados alcançou 100% de conformidade.

Também, da mesma forma que se observou nos ambientes Aulanet e eProinfo, a

experiência do usuário e a flexibilidade apresentam-se, para o ambiente Teleduc, com

0% de conformidade.

61

Figura 8: Análise das conformidades de usabilidade do ambiente Teleduc

A figura 9 apresenta um comparativo entre os resultados da avaliação, a partir do

Ergolist, dos três ambientes. A partir da análise do gráfico, observa-se que, no geral, os

ambientes apresentaram os mesmos resultados, com poucas diferenças.

Figura 9: Comparativo de conformidade de todos os critérios do Ergolist em relação aos três ambientes

62

O ambiente Aulanet obteve um grau de conformidade significativamente menor em

relação aos demais ambientes em quatro das dezoito variáveis. São elas:

- Significados, com 66,7% enquanto que os demais ambientes atingiram 100% de

conformidade neste critério;

- Controle do usuário, com 50% de conformidade enquanto que os ambientes

Aulanet e eProinfo atingiram um grau de 66,7%;

- Feedback com 40% enquanto que os demais ambientes obtiveram índices acima

de 70%;

- Agrupamento por formato com 57,7% contrastando com os 93% de conformidade

alcançados pelos demais ambientes.

Essas observações mostram que o ambiente Aulanet possui códigos e

denominações menos significativos, ou seja, quando comparado aos demais ambientes, a

linguagem dos termos e expressões utilizada no Aulanet é mais difícil de compreender e

entender; o poder que o usuário possui sobre o processamento durante o uso do sistema é

menor se comparado aos demais ambientes; o Aulanet nem sempre informa, de maneira

clara e rápida, quando uma determinada ação está sendo ou foi concluída; e, por fim, os

botões, imagens e textos nem sempre apresentam-se com formatos e cores diferenciados a

fim de distingui-los uns dos outros, quando comparado aos demais ambientes.

Outro ponto importante a ser observado é que todos os ambientes apresentaram 0%

de conformidade para as variáveis experiência do usuário e flexibilidade. Isso demonstra

que nenhum dos ambientes apresenta adaptabilidade, ou seja, não são capazes de reagir, de

maneiras diferentes, em contextos diferentes ou diante de necessidades e preferências

distintas de seus usuários.

A figura 10 apresenta também um comparativo do grau de conformidade das

variáveis de usabilidade dos três ambientes avaliados. A diferença entre as figuras 9 e 10, é

que, as variáveis encontram-se agrupadas. Os critérios foram agrupados com o objetivo de

facilitar o entendimento e apresentar os resultados de uma maneira mais geral. Os critérios

proteção contra erros, mensagens de erro e correção de erros foram agrupados no critério

gestão de erros.

Os critérios flexibilidade e experiência foram agrupados no critério

adaptabilidade. Já os critérios ações explícitas e controle do usuário foram agrupados em

controle explícito. Os critérios concisão, ações mínimas e densidade informacional foram

agrupados em carga de trabalho.

63

Figura 10: Comparativo de conformidade das variáveis agrupadas em relação aos três ambientes

Por fim, os critérios presteza, feedback, legibilidade, agrupamento por localização e

agrupamento por formato foram agrupados no critério condução. Já os critérios

compatibilidade, significados e consistência não foram agrupados.

4.2 Avaliação da usabilidade segundo os usuários

Esta seção apresenta os resultados da pesquisa prospectiva feita com os professores

e alunos da amostra. São descritos o perfil dos respondentes, a avaliação descritiva de cada

ambiente e a análise inferencial.

4.2.1 Perfil da amostra

Dentre os participantes da pesquisa, há diferentes perfis demográficos. As variáveis

sexo, faixa etária, escolaridade, experiência com computador, experiência com Internet são

apresentadas a seguir.

A partir da figura 11, observa-se que a diferença entre homens e mulheres que

participaram da pesquisa é pequena. Dos 30 participantes, a distribuição foi de 53,3%

mulheres e 46,7% homens.

64

Figura 11: Perfil da amostra por gênero

A figura 12 mostra a distribuição por faixa etária dos participantes da segunda fase

da pesquisa. Observa-se que a maioria (56,7%) dos entrevistados possui idades inferiores a

trinta anos. 23,3% estão na faixa entre 31 e 40 anos e apenas 20% dos entrevistados estão

na faixa com idades superiores a 40 anos.

Figura 12: Perfil da amostra a partir da faixa etária

A escolaridade dos participantes da pesquisa apresenta-se da seguinte forma: 20%

dos entrevistados possuem o ensino médio completo ou incompleto, 36,7% possuem o

nível superior completo ou incompleto, enquanto que, a sua maioria composta por 43,3%

dos entrevistados possuem alguma pós-graduação, seja ela uma especialização, mestrado

ou doutorado (Figura 13).

65

Figura 13: Perfil da amostra a partir da escolaridade

A amostra apresenta-se, a partir da observação da figura 14, com uma distribuição

equilibrada em relação à experiência com o uso do computador por parte dos

entrevistados. 53,3% dos entrevistados declararam que possuem pouca experiência com o

uso do computador, enquanto que 46,7% possuem muita experiência.

Figura 14: Perfil da amostra a partir da experiência com computador

Com relação à experiência com internet, a Figura 15 indica que a grande

maioria dos entrevistados (83,3%) declarou possuir experiência de mais de um ano com

internet, enquanto que apenas 16,7% declararam possuir menos de doze meses de

66

experiência.

Figura 15: Perfil da amostra a partir do tempo de uso da internet

4.2.2 Análise descritiva da usabilidade dos ambientes

Os resultados obtidos a partir da análise realizada sobre as informações colhidas

junto aos entrevistados para cada um dos três ambientes através do questionário estão

apresentados a seguir. O objetivo é descrever a percepção de maior usabilidade a partir das

características de cada uma das interfaces avaliadas pelos participantes da pesquisa.

A partir da figura 16, que representa o grau de concordância dos usuários para cada

uma das variáveis de usabilidade observadas no AulaNet, verifica-se que as variáveis

experiência e flexibilidade tiveram as menores taxas de concordância, 16,7% e 6,7%,

respectivamente. Essas variáveis são sub-critérios do critério ergonômico chamado

adaptabilidade. O AulaNet não disponibiliza meios que respeitem o nível de experiência do

usuário. Para os respondentes, esta interface não soube lidar com as variações dos níveis de

experiência. Para atender ao critério ergonômico relativo à experiência, meios

diferenciados deveriam ter sido previstos para lidar com diferenças de experiência,

permitindo que o usuário delegasse ou se apropriasse da iniciativa do diálogo.

O ambiente AulaNet não consegue colocar à disposição do usuário diferentes

maneiras deste alcançar certo objetivo, e, portanto, não possui a capacidade de se adaptar

às variadas ações do usuário. Da mesma forma, a interface do ambiente virtual de educação

à distância AulaNet não é capaz de colocar meios à disposição do usuário que permitam

personalizar a interface, a fim de levar em conta as exigências da tarefa, de suas estratégias

ou seus hábitos de trabalho.

67

Figura 16: Grau de concordância das variáveis de usabilidade em relação ao ambiente AulaNet

Tendo um baixo grau de concordância no que diz respeito aos critérios experiência

do usuário e flexibilidade em relação à interface do ambiente AulaNet, ficou evidenciada a

insegurança dos usuários no manuseio deste ambiente, podendo acarretar atrasos ou erros

irreversíveis. Um agravante a essa observação é que os critérios correção de erros e

mensagens de erros também apresentaram um nível de concordância abaixo de 50%. Isso

quer dizer que, além dos usuários encontrarem-se inseguros durante a navegação no

ambiente, os meios colocados à disposição destes com o objetivo de permitir a correção de

seus erros não foram satisfatórios.

A variável mensagens de erro refere-se à pertinência, a legibilidade e a exatidão da

informação dada ao usuário sobre a natureza do erro cometido (sintaxe, formato, etc.), e

sobre as ações a executar para corrigi-lo. Já a variável correção de erros diz respeito aos

meios colocados a disposição do usuário com o objetivo de permitir a correção de seus

erros (Cybis, 2003).

Conclui-se que a interface AulaNet não leva em conta a experiência do usuário no

manuseio do sistema, além deste usuário se encontrar desprovido de flexibilidade por parte

da ambiente. Tudo isso remete a erros durante a navegação. Como agravante, o ambiente

não provê bons mecanismos para a gestão desses erros.

Em contrapartida, os usuários do ambiente AulaNet tiveram um alto grau de

68

concordância nas variáveis consistência e ações explícitas com índices de 86,7% e 90%,

respectivamente.

A consistência se refere à carga perceptiva e cognitiva de saídas e entradas

individuais, e por definição, não se refere às mensagens de erro e de feedback. Já o critério

ações explícitas se baseia nas relações entre o processamento do computador e as ações do

usuário, pois esta relação deve ser explícita, ou seja, o computador deve processar somente

as ações que o usuário solicita e quando as solicita (Barros, 2003).

Quanto à avaliação do ambiente eProinfo, verifica-se um grau de concordância

maior na maioria das variáveis de usabilidade, quando comparado aos resultados obtidos

na avaliação do ambiente AulaNet, como pode-se observar a partir da figura 17. Assim

como no ambiente Aulanet, as variáveis experiência do usuário e flexibilidade também

tiveram um baixo grau de concordância, 23,3% e 16,7%, respectivamente. As demais

variáveis de usabilidade tiveram um alto grau de concordância, tendo mais de 80% como

grau de concordância. Dessa forma, a partir do resultado do ambiente Aulanet pode-se

chegar às mesmas conclusões no ambiente eProinfo, para as variáveis experiência e

flexibilidade.

Figura 17: Grau de concordância das variáveis de usabilidade em relação ao ambiente eProinfo

Mas, ao contrário do ambiente Aulanet, que obteve também baixos graus de

concordância para as variáveis correção de erros e mensagens de erros, o ambiente

eProinfo só teve baixo grau de concordância na variável correção de erros, com 36,7%,

69

enquanto que na variável mensagens de erro obteve um grau de concordância de 80%.

Isso mostra que os usuários ficaram satisfeitos com a qualidade das mensagens de erro,

considerando como ponto fraco da interface os meios colocados a disposição destes com o

objetivo de permitir a correção de seus erros.

Com relação ao ambiente virtual de educação à distância TelEduc (Figura 18), os

resultados obtidos a partir do questionário apresentaram, no geral, dados semelhantes à

avaliação do ambiente eProinfo. Semelhante aos resultados dos ambientes anteriormente

comentados, o ambiente Teleduc também apresenta um baixo grau de concordância para as

variáveis experiência do usuário e flexibilidade, porém apresenta, ao contrário dos

ambientes anteriores, graus de concordância superiores a 50% para as variáveis correção

de erros e mensagens de erro.

Figura 18: Grau de concordância das variáveis de usabilidade em relação ao ambiente TelEduc

A figura 19 apresenta um comparativo entre os resultados da avaliação feita pelos

usuários dos três ambientes. Distorções entre os resultados podem ser observadas para

algumas variáveis. Nas variáveis presteza, feedback, legibilidade, proteção contra

erros, mensagens de erros e compatibilidade, os resultados da avaliação, para o

ambiente Aulanet, no geral foram consideravelmente inferiores aos resultados alcançados

pelos demais ambientes.

70

Figura 19: Comparativo entre os graus de concordância das variáveis de usabilidade para os três ambientes

Da mesma maneira que na avaliação diagnóstica/preditiva (seção 4.1), a figura 20

apresenta um comparativo entre os três ambientes através da visão de agrupamento de

algumas variáveis de usabilidade, com o objetivo de facilitar a visualização dos pontos

fortes e fracos de cada um dos ambientes, mas desta vez a partir do ponto de vista do

usuário. Os critérios proteção contra erros, mensagens de erro e correção de erros foram

agrupados no critério gestão de erros. Os critérios flexibilidade e experiência foram

agrupados no critério adaptabilidade. Já os critérios ações explícitas e controle do usuário

foram agrupados em controle explícito. Os critérios concisão, ações mínimas e densidade

informacional foram agrupados em carga de trabalho. E por fim, os critérios presteza,

feedback, legibilidade, agrupamento por localização e agrupamento por formato foram

agrupados no critério condução. Já os critérios compatibilidade, significados e consistência

não foram agrupados em nenhum outro critério.

Constata-se que o critério adaptabilidade alcançou índices bastante baixos,

segundo a percepção do usuário dos ambientes, durante a sua avaliação (Figura 20). Isso é

conseqüência do fato das interfaces dos ambientes não colocarem à disposição dos usuários

diferentes formas para a execução de uma mesma tarefa que leve em consideração os seus

hábitos e suas estratégias, ou seja, os ambientes não se apresentam flexíveis.

71

Figura 20: Comparativo entre os graus de concordância das variáveis de usabilidade agrupadas para os três ambientes

Outro ponto que levou a estes baixos índices de adaptabilidade deve-se ao fato dos

ambientes analisados não levarem em consideração a heterogeneidade dos usuários, ou

seja, não se apresentam de forma diferenciada para usuários com mais ou menos

experiência durante o manuseio do ambiente. Usuários mais experientes ou usuários

especialistas não precisam ser conduzidos durante a navegação no ambiente da mesma

forma que usuários menos experientes, ou seja, diálogos mais longos e explicativos devem

ser utilizados para usuários novatos enquanto que atalhos devem ser disponibilizados para

serem utilizados por usuários mais experientes. Por conta da ausência de todas essas

características, os ambientes analisados apresentaram-se com graus de adaptabilidade que

não ultrapassam 20% de concordância.

Outra constatação importante, segundo a observação da figura 20, é com relação ao

critério compatibilidade. Percebe-se que, para os ambientes eProinfo e Teleduc, o grau de

concordância foi de 86,7% e 76,7%, respectivamente, enquanto que, para o ambiente

Aulanet, o grau de concordância foi de apenas 50%. Essa distorção entre os resultados

deve-se ao fato do ambiente Aulanet não apresentar-se de maneira compatível com as

expectativas dos usuários. Em outras palavras, a forma organizacional além da seqüência

de passos para a realização de uma dada tarefa não corresponde à realizada

costumeiramente pelos usuários. Isso explica o baixo grau de compatibilidade do ambiente

Aulanet quando comparado com os demais ambientes avaliados.

Percebe-se, ainda, uma diferença considerável entre os ambientes com relação ao

72

critério gestão de erros. Enquanto os ambientes eProinfo e Teleduc alcançaram índices de

concordância de 65,6% e 68,9%, respectivamente, o ambiente Aulanet obteve um índice de

46,7%. O ambiente Aulanet não apresenta, de maneira clara e satisfatória, para os usuários,

indicativos de que estes estão prestes a cometer erros durante a navegação no ambientes.

Exemplos para este fato, são mensagens informando dados de entrada incorretos antes de

estes serem processados pelos sistemas.

Outro ponto que contribui para o baixo grau de concordância da variável gestão de

erros do ambiente Aulanet é o fato das mensagens de erros apresentadas não serem claras,

precisas e bastante explicativas com relação à natureza do erro cometido, segundo os

usuários. Por fim, o ambiente também não apresenta soluções satisfatórias, segundo

também os usuários, quando estes se deparam com um erro.

Mais um ponto a ser destacado, ainda observando a figura 20, é com relação ao

critério condução. Mais uma vez, o ambiente Aulanet apresenta-se com um grau de

concordância bem abaixo dos demais ambientes. O ambiente eProinfo alcançou um grau

de concordância de 85,4%, o ambiente Teleduc alcançou um grau de 84,7% de

concordância e, em contrapartida, o ambiente Aulanet alcançou um grau de concordância

de apenas 60,7%. Apesar de ser um valor acima de 50% da concordância dos usuários,

ainda é um valor consideravelmente menor que os demais ambientes. Para os usuários, o

ambiente Aulanet não apresentou meios satisfatórios, quando comparado aos demais

ambientes, para conduzi-los, aconselhá-los ou informá-los durante a navegação no sistema.

Por outro lado, todos os ambientes apresentaram resultados relativamente

homogêneos e com graus de concordância superiores a 70% para os critérios significados,

consistência, controle explícito e carga de trabalho. Para os usuários, uma boa

concordância que todos os ambientes utilizam termos e expressões com uma linguagem de

fácil compreensão e entendimento, as diversas telas do ambiente são homogêneas para

contextos idênticos, ou seja, os procedimentos e rótulos mantêm seu formato ou

localização estáveis de uma tela para outra ou de uma seção para outra, os usuários se

sentiram no controle do ambiente durante a navegação e os ambientes se mostraram

econômicos, com elementos de interface que reduziram a carga cognitiva e perceptiva dos

usuários e diálogos eficientes.

73

4.2.3 Fatores influenciadores da avaliação de usabilidade

A seguir, são testados os efeitos de cada uma das variáveis mediadoras Ambiente,

Sexo, Faixa etária, Experiência com o computador, Tempo de uso da Internet e Tipo

de usuário sobre a avaliação da usabilidade das interfaces dos ambientes virtuais de

educação à distância pesquisados.

Foi utilizado o teste de independência chi-quadrado, para determinar dependências

estatísticas entre as variáveis mediadoras e as variáveis de usabilidade. Essa análise é feita

a partir dos dados colhidos com o questionário adaptados dos critérios ergonômicos.

4.2.3.1 Efeito do tipo de ambiente virtual avaliado na percepção de usabilidade

Na tabela 7 é apresentada uma análise entre a variável de agrupamento Ambiente e

as variáveis de usabilidade.

Variável Variáveis de usabilidade p (teste χχχχ2) Análise

AMBIENTE Presteza 0,01376 Dependente

Feedback 0,00156 Dependente

Legibilidade 0,00027 Dependente

Agrupamento por Localização 0,07889

Agrupamento por Formato 0,38191

Concisão 0,20004

Ações Mínimas 0,65563

Densidade Informacional 0,35785

Ações Explícitas 0,87180

Controle do Usuário 0,13125

Flexibilidade 0,42089

Experiência do Usuário 0,81193

Proteção Contra Erros 0,01394 Dependente

Mensagens de Erros 0,00629 Dependente

Correção de Erros 0,24783

Consistência 0,53292

Significados 0,18118

Compatibilidade 0,00526 Dependente

Tabela 7: Efeitos da variável Ambiente sobre as variáveis de usabilidade

Os resultados da tabela 7 mostram que as variáveis de usabilidade presteza,

feedback, legibilidade, proteção contra erros, mensagens de erros e compatibilidade

foram as que se apresentaram com graus de concordância diferentes quando leva-se em

consideração os diferentes ambientes analisados (p<0,05). Assim, de acordo com o

ambiente avaliado, estas variáveis apresentaram valores diferentes entre si. Isso pode ser

74

comprovado a partir da observação da Figura 19, apresentada na seção anterior, que

apresenta uma diferença considerável do resultado da avaliação dessas variáveis para o

ambiente Aulanet em relação à avaliação dos demais ambientes. Com relação às demais

variáveis, o fator ambiente não afeta a percepção de usabilidade do usuário, ou seja,

independentemente do ambiente analisado, a percepção dessas variáveis de usabilidade

permanecem semelhantes.

4.2.3.2 Efeito do gênero na percepção de usabilidade

Nota-se, a partir da tabela 8, que apenas as variáveis de usabilidade flexibilidade e

correção de erros são afetadas na avaliação do ambiente quando se leva em consideração

o sexo do entrevistado (p<0,05). As demais variáveis não sofrem diferenças consideráveis

de percepção durante a avaliação levando-se em consideração o sexo como variável de

agrupamento. Parece assim que, independemente do gênero do avaliador, o fato de ser

homem ou mulher não teve efeito no resultado na avaliação de usabilidade dos ambientes.


SEXO Presteza 0,26848

Feedback 0,05722

Legibilidade 0,07300



Concisão 0,75586





Flexibilidade 0,02524 Dependente


Proteção Contra Erros 0,31998

Mensagens de Erros 0,12321

Correção de Erros 0,02344 Dependente



Compatibilidade 0,59727

Tabela 8: Efeitos da variável Sexo sobre as variáveis de usabilidade

4.2.3.3 Efeito da faixa etária na percepção de usabilidade

Com relação à variável de agrupamento Idade (tabela 9), as variáveis de usabilidade

presteza, feedback, agrupamento por formato, densidade informacional, flexibilidade

75

e significados sofrem influência na sua avaliação por parte de participantes mais velhos ou

mais novos. Aparentemente, pela amostra, a faixa etária do entrevistado no processo de

avaliação dos ambientes virtuais de educação à distância afeta as opiniões sobre a

usabilidade, pois são estatisticamente significativos em relação a estas variáveis. As

demais variáveis de usabilidade não se apresentaram diferentes quando se leva em

consideração a idade dos entrevistados durante a avaliação dos ambientes.


FAIXA ETÁRIA Presteza 0,02953 Dependente

Feedback 0,04325 Dependente



Agrupamento por Formato 0,01664 Dependente

Concisão 0,18677


Densidade Informacional 0,04062 Dependente









Significados 0,00910 Dependente


Tabela 9: Efeitos da variável Faixa etária sobre as variáveis de usabilidade

4.2.3.4 Efeito da escolaridade na percepção de usabilidade

Quando se testa o grau de escolaridade do avaliador, observa-se que apenas as

variáveis de usabilidade flexibilidade e correção de erros são afetadas (p<0,05) por sua

percepção, conforme se apresenta tabela 10. Portanto, infere-se que a percepção da

flexibilidade e da correção de erros é alterada quando se leva em consideração diferentes

graus de escolaridade dos entrevistados no processo de avaliação dos ambientes virtuais de

educação à distância. Nas demais variáveis de usabilidade, não há diferenças de opinião

entre os mais ou os menos escolarizados, ambos avaliaram da mesma forma,

independentemente do grau de escolaridade do entrevistado (p>0,05).

76


ESCOLARIDADE Presteza 0,83295

Feedback 0,30076




Concisão 0,81371









Correção de Erros 0,00537 Dependente




Tabela 10: Efeitos da variável Escolaridade sobre as variáveis de usabilidade

4.2.3.5 Efeito da experiência com computador na percepção de usabilidade

Na tabela 11, nota-se que cinco variáveis de usabilidade sofrem influência

conforme a experiência com o uso do computador por parte do respondente, são estas:

localização, concisão, proteção contra erros e significados (p<0,05).

Isso quer dizer que, a partir da maior ou menor experiência prévia que o usuário

possui com o uso do computador, a percepção destas variáveis de usabilidade é alterada

durante a avaliação dos ambientes. No entanto, a experiência do entrevistado com o

computador não afeta a percepção das demais variáveis de usabilidade durante a avaliação

dos ambientes virtuais de educação à distância.

77

Variável Variáveis de usabilidade P (teste χχχχ2) Análise

EXPERIÊNCIA Presteza 0,11696

COM Feedback 0,83266

COMPUTADOR Legibilidade 0,37003

Agrupamento por Localização 0,04249 Dependente


Concisão 0,00143 Dependente





Flexibilidade 0,31998


Proteção Contra Erros 0,00137 Dependente




Significados 0,01807 Dependente


Tabela 11: Efeitos da variável Experiência computacional sobre variáveis de usabilidade

4.2.3.6 Efeito do tempo de uso da internet na percepção de usabilidade

Independentemente do tempo de uso da Internet (tabela 12), a percepção de todas

as variáveis de usabilidade não são afetadas durante a avaliação. No entanto, cabe uma

cautela neste resultado, que é o fato da variável ter um desvio padrão baixo, isto é, a quase

totalidade dos entrevistados já possuíam acesso à Internet há mais de um ano. Por isso, o

teste de independência perde sua força de inferência devido a grande homogeneidade da

amostra com relação à variável de tempo de uso da Internet.


TEMPO DE Presteza 0,35454

USO DA Feedback 0,47950

INTERNET Legibilidade 0,54850



Concisão 0,06862





78


TEMPO DE Flexibilidade 1,00000

USO DA Experiência do Usuário 1,00000

INTERNET Proteção Contra Erros 0,14537






Tabela 12: Efeitos da variável Tempo de uso da Internet sobre variáveis de usabilidade

4.2.3.7 Efeito do tipo de usuário na percepção de usabilidade

Conforme o resultado apresentado na tabela 13, constata-se que o tipo de usuário

afetou a percepção apenas de duas variáveis: feedback e flexibilidade. Já para as demais

variáveis, a percepção é similar, seja usuário professor ou usuário aluno, quando se está

avaliando o ambiente.


TIPO DE Presteza 0,81807

USUÁRIO Feedback 0,03501 Dependente




Concisão 0,24469













Tabela 13: Efeitos da variável Tipo de usuário sobre as variáveis de usabilidade

A tabela 14 resume o que foi apresentado até agora. As células marcadas com um

79

asterisco representam que, no teste de chi-quadrado, foi identificada uma dependência

entre as variáveis (p<0,05), ou seja, a referida variável de agrupamento possui uma relação

de dependência com a variável de usabilidade, enquanto as marcadas com dois asteriscos

representam uma significância para p<0,01. As células marcadas por hífen representam a

situação de que os dados possuem uma relação de independência.

A partir da análise da tabela 14, podem-se ser destacados alguns pontos

importantes. Primeiro, observa-se que as variáveis ambiente e idade dos entrevistados

foram as que mais causaram diferença de percepção por parte dos usuários em relação à

usabilidade dos ambientes. Constatou-se que, dependendo do tipo de ambiente (AulaEduc,

eproinfo ou Teleduc) e da faixa etária do avaliador (mais velhos ou mais novos), seis

variáveis de usabilidade sofrem influência dessas duas variáveis. A escolha do ambiente

causou dependência em presteza, feedback, legibilidade, proteção contra erros, mensagens

de erros e compatibilidade, enquanto que a idade do usuário causou dependência em

presteza, feedback, agrupamento por formato, densidade informacional, flexibilidade e

significados.

Variáveis de usabilidade Ambiente Sexo Faixa etária

Escola-ridade

Exp. Comput

Tempo Internet

Tipo de usuário

Presteza * - * - - - -

Feedback ** - * - - - *

Legibilidade ** - - - - - -

Agrupamento por Localização

- - - - * - -

Agrupamento por Formato

- - * - - - -

Concisão - - - - ** - -

Ações Mínimas - - - - - - -

Densidade Informacional - - * - - - -

Ações Explícitas - - - - - - -

Controle do Usuário - - - - - - -

Flexibilidade - * * * - - *

Experiência do Usuário - - - - - - -

Proteção Contra Erros * - - - ** - -

Mensagens de Erros ** - - - - - -

Correção de Erros - * - ** - - -

Consistência - - - - - - -

Significados - - ** - * - -

Compatibilidade ** - - - - - -

Tabela 14: Resumo do efeito das variáveis moderadoras sobre variáveis de usabilidade

80

Depreende-se ainda dessa análise geral que, independentemente da experiência do

usuário com internet, as avaliações se mostraram equivalentes, ou seja, o fato do usuário já

ter intimidade ou não em navegar na internet não foi um ponto que causou resultados

diferentes por parte dos usuários dos ambientes. Ressalta-se mais uma vez o fato da

variável ter um desvio padrão baixo, isto é, a quase totalidade dos entrevistados já

possuíam acesso à Internet há mais de um ano. Por isso, o teste de independência perde sua

força de inferência devido a grande homogeneidade da amostra com relação à variável de

tempo de uso da Internet.

No tocante ao tipo de usuário, o qual havia a hipótese de trabalho de essa variável

afetaria bastante sua opinião sobre a usabilidade do ambiente, o teste de chi-quadrado não

confirmou esta hipótese após a pesquisa. Conforme se observa no quadro, apenas feedback

e flexibilidade possuem uma diferença de percepção por parte dos entrevistados quando se

leva em consideração o tipo deste usuário (usuário aluno ou usuário professor).

4.3 Comparação qualitativa entre as técnicas de avaliação utilizadas

A tabela 15 indica, para cada ambiente avaliado, se determinada variável apresenta

nenhum, pouco ou muito alinhamento entre os resultados alcançados nas avaliações com e

sem a participação do usuário, ou seja, as avaliações realizadas com o checklist Ergolist e a

partir da avaliação através de questionário respondido pelos usuários. Para esta

classificação, adotou-se a seguinte condição: para diferenças, entre resultados, superiores a

20%, considerou-se que não houve nenhum alinhamento; para diferenças entre 10% e 20%,

considerou-se que houve pouco alinhamento; já para diferenças inferiores a 10%,

considerou-se que houve muito alinhamento entre os resultados obtidos nas duas

avaliações.

NÍVEL DE ALINHAMENTO

Aulanet e-Proinfo Teleduc

Critérios Nenhum Pouco Muito Nenhum Pouco Muito Nenhum Pouco Muito

Compatibilidade X X X

Significados X X X

Consistência X X X

Gestão de Erros X X X

81

Adaptabilidade X X X

Controle Explícito X X X

Carga de Trabalho X X X

Condução X X X

Tabela 15: Alinhamento entre as avaliações com e sem a participação do usuário

Observando a tabela 15, nota-se que não existe nenhum alinhamento entre os

resultados obtidos, a partir das duas avaliações, dos critérios compatibilidade para o

ambiente Aulanet e controle explícito para o ambiente Teleduc. Existe uma diferença

bastante significativa entre as avaliações do critério compatibilidade para o ambiente

Aulanet. Na avaliação com a participação do usuário, apenas a metade deles, conforme se

apresentou na figura 16, considerou o ambiente Aulanet com boa compatibilidade. No

entanto, na técnica sem a participação do usuário, realizada pelo autor, 85,7% das questões

(ver figura 6) referentes a este critério foram atendidas, ou seja, o critério compatibilidade

não atingiu um grau satisfatório na avaliação feita pelos usuários enquanto que este critério

foi atendido na avaliação realizada pelo autor.

Distorções entre avaliações com e sem a participação de usuário do sistema são

comuns de acontecer. Os achados desta pesquisa se justificam quando se tem como suporte

teórico explicativo o Modelo de Aceitação de Tecnologia (technology acceptance model -

TAM). O TAM é uma adaptação da teoria da ação racional, vinda da psicologia, e

modificada especificamente para criar modelos de aceitação de tecnologia da informação

(Davis, 1993; Dias et al., 2003).

Segundo Davis (1989), o objetivo do TAM é possibilitar uma explicação dos

determinantes da utilização de computadores, capaz de contemplar comportamentos de

usuários através de uma grande gama de tecnologias e populações. O modelo leva em

consideração que estímulos externos influenciam as atitudes pessoais, indiretamente

influenciando suas crenças sobre as conseqüências de ter aquele comportamento. Um

ponto chave do TAM é, então, verificar o impacto de fatores externos nas crenças e

atitudes das pessoas. Foi formulado para atingir esses objetivos através da identificação de

um pequeno número de variáveis fundamentais sugeridas por pesquisas prévias,

relacionadas com determinantes cognitivos e afetivos da aceitação de tecnologia da

informação (Gahtani, 2001, apud Saleh, 2004).

O TAM se baseia na idéia de que dois conceitos principais, a utilidade percebida e a

facilidade percebida podem prever aceitação de sistemas computacionais. Segundo Davis

82

(1993), as pessoas tendem a usar ou não uma aplicação ou tecnologia de acordo com a

possibilidade de melhorar seu desempenho no trabalho. Isso é chamado de utilidade

percebida. No entanto, mesmo que o usuário entenda que um determinado aplicativo é útil,

sua efetiva utilização pode ser prejudicada se o uso for considerado muito complicado, de

modo que os benefícios da nova tecnologia não compensem o esforço do uso. Esse

conceito é chamado de facilidade percebida (Davis, 1993; Gahtani, 2001, apud Saleh,

2004).

Portanto, fatores externos e subjetivos influenciam a percepção do usuário quando

este está avaliando, ou simplesmente conhecendo, um determinado ambiente

computacional causando, dessa forma, distorções entre avaliações com e sem a

participação dos usuários. A literatura reforça a questão da importância de se utilizar uma

metodologia de avaliação que envolva tanto técnicas com e sem a participação do usuário

do sistema.

83

Capítulo 5 - Conclusões e Recomendações

Este capítulo tem por objetivo apresentar uma síntese do trabalho, as implicações

teóricas e gerenciais, as limitações do estudo e o direcionamento para novas pesquisas.

5.1 Principais conclusões

O presente trabalho propôs a avaliação de interfaces dos ambientes virtuais de

educação à distância gratuitos desenvolvidos no Brasil. A avaliação mostrou-se simples e

barato. Barato, pois as ferramentas utilizadas durante o processo de avaliação são gratuitas.

Apesar da pesquisa utilizar trinta entrevistados para a avaliação, Nielsen (2000) citado por

Padilha (2004), afirma que, para se obterem resultados satisfatórios em um teste de

usabilidade, são necessários apenas cinco informantes. A partir desses cinco informantes,

cerca de 75% dos problemas de usabilidade podem ser detectados. Dessa forma, os custos

do processo de avaliação poderiam se reduzir ainda mais. Quanto à complexidade, a

avaliação mostrou-se simples, pois não exigiu a participação de especialistas em

usabilidade para a execução do processo. As ferramentas utilizadas na avaliação podem ser

manipuladas por usuários sem experiência em avaliação de usabilidade.

Durante a avaliação dos ambientes através do Ergolist, contatou-se a total falta do

critério adaptabilidade, corroborando com a avaliação feita pelos usuários, onde este

critério não alcançou 21% de concordância por parte dos entrevistados. Isso mostra que o

grande problema encontrado em todos os ambientes avaliados é a adaptabilidade, ou seja,

os desenvolvedores de ambientes de e-learning parecem não levarem em consideração a

experiência do usuário e a necessidade de serem flexíveis.

Os critérios compatibilidade do ambiente Aulanet e controle explícito do ambiente

Teleduc tiveram avaliações diferentes a partir das duas técnicas usadas no método

proposto. Isso reforça a importância de se aplicar duas técnicas na avaliação, uma com a

participação do usuário e outra sem a participação do usuário. Fatores individuais ou

externos podem influenciar a avaliação do usuário.

Após a avaliação, foram detectados problemas e qualidades nas interfaces dos

ambientes avaliados. O estudo, além de mostrar que é possível a aplicação da avaliação,

84

colaborou com os ambientes avaliados, pois estes poderão ser melhorados através da

eliminação dos problemas detectados durante a avaliação.

Ao contrário do que se imaginava inicialmente, o tipo de usuário (se professor ou

aluno) influenciou muito pouco no resultado da avaliação feita pelos usuários. Apesar dos

ambientes apresentarem funcionalidades distintas entre usuários professores e usuários

alunos, essa característica não se mostrou determinante na avaliação feita pelos usuários.

Isso pôde ser comprovado através do teste do qui-quadrado onde, das dezoito variáveis

avaliadas, apenas duas (feedback e flexibilidade) se mostraram influenciadas pelo tipo de

usuário.

Observou-se também a partir do teste do qui-quadrado, que a percepção da

usabilidade das interfaces por parte dos usuários é afetada quando se leva em consideração

as variáveis de controle consideradas no trabalho.

Apesar da avaliação ter sido aplicada apenas aos ambientes virtuais de educação à

distância, esse método pode ser aplicado a qualquer ambiente, uma vez que a proposta é

genérica e voltada para qualquer tipo de interface.

5.2 Implicações teóricas e gerenciais

Este trabalho contribuiu com a avaliação de usabilidade dos Ambientes Virtuais de

Educação à Distância desenvolvidos no Brasil e com distribuição gratuita. A avaliação

realizada utiliza ferramentas gratuitas e demanda pouco tempo. O trabalho também

contribuiu na tentativa de popularizar a avaliação da usabilidade de interfaces. Esta ainda é

uma área em que grande parte dos desenvolvedores de sistemas dá pouca importância. O

trabalho contribuiu com o avanço do tema avaliação de usabilidade, inserido na área de

Interação Humano-computador e do campo da ergonomia de interfaces, ambos

importantes para o campo da Engenharia de Produção.

Do ponto de vista prático, o fato dos ambientes virtuais de educação à distância

gratuitos desenvolvidos no Brasil terem passado por uma avaliação e, a partir de então,

seus pontos positivos e negativos terem sido apresentados constitui também uma

contribuição para os desenvolvedores e instituições interessadas diretamente no assunto.

Uma das implicações gerenciais recomendadas pelo trabalho é a de que os

ambientes avaliados AulaNet, eProinfo e Teleduc implementem mecanismos que

proporcionem, aos usuários, maior flexibilidade em suas interfaces. A flexibilidade está

relacionada aos meios colocados à disposição do usuário que permitem personalizar a

85

interface, de tal forma que levem em conta, dentre outras coisas, seus hábitos de trabalho e

suas estratégias. Recomenda-se também a implementação de mecanismos nas interfaces

que levem em consideração a experiência de cada usuário. Uma sugestão para solucionar

este problema seria a criação de assistentes que conduziriam os usuários menos experientes

e disponibilizariam maiores informações durante a navegação.

5.3 Limitações do Trabalho

O presente trabalho apresenta como limitação o fato de avaliar apenas os ambientes

virtuais de educação à distância gratuitos desenvolvidos no Brasil.

No questionário utilizado para a coleta de dados junto aos usuários dos ambientes,

não constam espaços para que estes manifestem suas opiniões e sugestões explicando a

concordância ou discordância com cada um dos critérios ergonômico. Apesar de ser

possível a detecção dos problemas a partir da definição dos critérios, esta modificação no

questionário ajudaria na hora do melhoramento das interfaces, pois facilitaria encontrar as

causas dos problemas.

5.4 Direções da Pesquisa

Pesquisas futuras poderão ser desenvolvidas aplicando a avaliação para interfaces

de outros sistemas, bem como para interfaces de outros ambientes virtuais de educação à

distância.

Com o resultado das avaliações, os ambientes poderão ser modificados e novas

avaliações poderão ser feitas para comprovar o melhoramento de suas interfaces, com a

plataforma Moodle, por exemplo.

Novos ambientes poderão ser desenvolvidos a partir deste trabalho uma vez que ele

apresenta as diretrizes a serem seguidas pelos desenvolvedores para se obter uma interface

que atenda aos critérios ergonômicos de usabilidade.

86

Referências

ALMEIDA, Vânia Paula de. Estratégias Cognitivas para o Aumento da Qualidade do

Hiperdocumento para Educação a Distância. 2005. Dissertação (Mestrado em Ciência

da Computação) - Universidade Federal de São Carlos, São Carlos, 2005.

ALVES, João Roberto Moreira. Educação a Distância e as Novas Tecnologias de

Informação e Aprendizagem. Programa Novas tecnologias na Educação. 2003.

Disponível em <http://www.engenheiro2001.org.br/programas/980201a1.htm>. Acesso em

9 de agosto de 2007.

ANTUNES, Jane M. de L.; BET, Sabrina; FROZZA, Ângelo A. A Internet como

ferramenta de ensino: um estudo sobre seus recursos e como aplicá-los no Ensino a

Distância. Revista do CCEI, Universidade da Região da Campanha. v.1 n.1, Out., 1997,

p.49-56.

aprendizagem virtual (LMS). Anais do XXIV Encontro Nacional de Engenharia de

Produção – ENEGEP, Florianópolis-SC, 3 a 5 de novembro de 2004.

ARAGÃO, Carlos Roberto Vieira de. A Percepção do Usuário Sobre o Fator

Usabilidade das Páginas da Web Voltadas para o Comércio Eletrônico. 2001. 128f.

Dissertação (Mestrado em Engenharia de Produção) – UFSC, Florianópolis, 2001.

ARANHA, Elzo A. A contribuição dos critérios ergonômicos na concepção de sistemas de

gerenciamento de aprendizagem virtual. Anais do XIX Encontro Nacional de

Engenharia de Produção – ENEGEP, Rio de Janeiro-RJ, 01 a 04 de novembro de 2001.

ARANHA, Elzo A. Critérios ergonômicos e a concepção de sistema de gerenciamento de

AULANET. Portal Evoluir. Disponível em: <http://www.portalevoluir.com.br/>. Acesso

em: 03 nov. 2006.

BARCIA, R. M. ; RODRIGUES FILHO, I. W. ; BARAÚNA, A. . Fundamentos para a

Formação de Auditores Ambientais Utilizando Ensino a Distância. Anais do XXVIII

Congresso Brasileiro de Ensino de Engenharia – COBENGE. Ouro Preto-MG, 2000.

87

BARCIA, R. M. ; RODRIGUES FILHO, I. W. ; BARAÚNA, A. . Fundamentos para a

Formação de Auditores Ambientais Utilizando Ensino a Distância. Anais do XXVIII

Congresso Brasileiro de Ensino de Engenharia - COBENGE, Ouro Preto-MG, 2000.

BARROS, Vanessa Tavares de Oliveira. Avaliação da Interface de um Aplicativo

Computacional Através de Teste de Usabilidade, Questionário Ergonômico e Análise

Gráfica do Design. 2003. 146f. Dissertação (Mestrado em Engenharia de Produção) –

UFSC, Florianópolis, 2003.

BASSETE, Fernanda. Apostilas ainda são o principal meio usado no ensino à distância.

Portal G1, São Paulo, 31/03/2007.

BATISTA, Claudia Regina. Desenvolvimento de Interface para Ambiente Multimídia

Voltado ao Ensino de Geometria Sob a Ótica da Ergonomia e do Design Gráfico.

2003. 173f. Dissertação (Mestrado em Engenharia de Produção) – UFSC, Florianópolis,

2003.

BEVAN, Nigel. Quality in use: meeting user needs for quality. Journal of Systems and

Software, vol. 49, n. 1, p. 89-96, 1999.

BOHMERWALD, Paula. Uma Proposta Metodológica para Avaliação de Bibliotecas

Digitais: Usabilidade e Comportamento de Busca por Informação na Biblioteca

Digital da PUC-Minas. 2003. Dissertação (Mestrado em Ciências da Informação) –

Universidade Federal de Minas Gerais, Belo Horizonte, 2003.

BRITO, Luísa. Matrículas em cursos à distância aumentaram 54% de 2005 para 2006.

Portal G1, São Paulo, 02/04/2007.

CAPES, Banco de Teses. Disponível em http://www.capes.gov.br. Acesso em 12 de junho

de 2006.

CARNIEL, Ademir; MEDEIROS FILHO, Dante A.; FIGUEIREDO, Maurício F.;

ULBRICHT, Vania R. Projeto de ambiente hipermídia colaborativo e adaptativo baseado

na Internet/web apoiando o processo de ensino-aprendizagem ativo. Anais do II

Congresso Internacional de Gestão da Tecnologia e Sistemas de Informação, São

Paulo-SP, 2005.

88

CARVALHO, J. O. F. ; PELISSONI, C. G. . Avaliação da Usabilidade de Interfaces de

Dispositivos Móveis para Aplicações de Apoio ao Ensino: Uma Experiência com

Educação a Distância. Anais da III Conferência Iberoamericana em Sistemas,

Cibernética e Informática, 2004, Orlando, Florida, EE.UU.. Memórias de la CISCI 2004

- IIIS - International Institute of Informatics and Systemics, 2004. v. 1. p. 40-44.

CORDEIRO, Aguinaldo Pires. A Informática como Instrumental de Desenvolvimento

da Qualidade do Processo Ensino-Aprendizagem. 2000. 81f. Dissertação (Mestrado em

Engenharia de Produção) – UFSC, Florianópolis, 2000.

CYBIS, W. A.; SCAPIN, D.;ANDRES, D.. Elaboração de Listas de Verificação de

Usabilidade para Sites de Comércio Eletrônico. Disponível em:

<http://www.labiutil.inf.ufsc.br/Tvu/index.htm>. Acesso em: 02 dez. 2005

CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergonômica.

Apostila para o Curso de Pós-Graduação em Engenharia de Produção – UFSC,

Florianópolis, 2003.

CYBIS, Walter de Abreu; PIMENTA, Marcelo Soares; SILVEIRA, Mário César;

GAMEZ, Luciano. Uma Abordagem Ergonômica para o Desenvolvimento de Sistemas

Interativos. Anais do I Workshop sobre Fatores Humanos em sistemas

computacionais: compreendendo usuários, construindo interfaces. Maringá-PR, 1998.

v. I, p. 102-111.

DAVIS, F. D. 1993, User acceptance of information technology:

system characteristics, user perceptions and behavioral

impacts. International Journal of Man-Machine Studies, 38,

DAVIS, Fred D. User acceptance of information technology: system characteristics, user

perceptions and behavioral impacts. International Journal of Man-Machine Studies, v.

38, p. 475-487, 1993.

DIAS, Cláudia Augusto. Métodos de avaliação de usabilidade no contexto de portais

corporativos: um estudo de caso no Senado Federal. 2001. 229f. Dissertação (Mestrado

em Ciências da Informação) – Universidade de Brasília, Brasília, 2001.

89

DIAS, Cláudia. Usabilidade na Web: Criando Portais Mais Acessíveis. Editora Alta

Books. Rio de Janeiro, 2003.

DIAS, M. C. ; ZWICKER, R. ; VICENTIN, I. C.. A análise do modelo de aceitação de

tecnologia de Davis. Revista Spei, Curitiba, v. 4, n. 2, p. 15-24, 2003.

E-PROINFO. Ambiente Colaborativo de Aprendizagem. Administração. Disponível

em: <http://www.eproinfo.mec.gov.br/adm/>. Acesso em: 03 nov. 2006.

E-PROINFO. Ambiente Colaborativo de Aprendizagem. Disponível em:

<http://www.eproinfo.mec.gov.br/>. Acesso em: 03 nov. 2006.

ERGOLIST. Projeto ErgoList. Disponível em: <http://www.labiutil.inf.ufsc.br/ergolist/>.

Acesso em: 03 nov. 2006.

EVANGELISTA, Mário L. S.; HECKLER, Valmir. TelEduc – uma ferramenta auxiliar no

processo educativo presencial da Engenharia de Produção. Anais do XXVI Encontro

Nacional de Engenharia de Produção - ENEGEP, Fortaleza, CE, Brasil, 9 a 11 de

Outubro de 2006.

FILHO, Luiz Carlos Rossi; BIM, Silvia Amélia. Utilização do Ergolist na Avaliação da

Interface de um Software para Gestão de Clínica Odontológica. Anais do III Seminário

de Computação SECOMP, Londrina-PR, Universidade Estadual de Londrina - UEL.

2006.

FOGLIATTO, F. S. . Design Macroergonômico. Material de Suporte da disciplina

Ergonomia-Design de Produto, Parte II. Porto Alegre: FEENG/UFRGS/EE/PPGEP, 2002.

GARIBA JÚNIOR, Maurício. Ambiente de gerenciamento, via Internet, de projetos

interdisciplinares baseados na construção do conhecimento. Anais do XXVIII Congresso

Brasileiro de Ensino de Engenharia (COBENGE), Ouro Preto-MG, 2000.

GONÇALVES, Eliane Salete Bareta. A Interação com o Usuário na Validação do

Software Oficina de Relatório. 2001. 117f. Dissertação (Mestrado em Engenharia de

Produção) – UFSC, Florianópolis, 2001.

HORNBÍK, Kasper. Current Practice in Measuring Usability: Challenges to Usability

Studies and Research. International Journal of Human-Computer Studies, Vol. 64, p.

79-102, 2006.

90

IIDA, I. Ergonomia: projeto e produção. São Paulo: Edgar Blücher, 1998.

KAUFMANN, Sandra M. A. Fatores Determinantes e Fatores Moderadores da

Utilização de Tecnologia da Informação em uma Instituição de Ensino Superior.

117p. Mestrado Interinstitucional PPGA- UNIVATES, Universidade Federal do Rio

Grande do Sul, 2005.

KULCZYNSKYJ, Michael. Usabilidade de Interfaces em Websites Envolvendo

Animações, Propagandas e Formas de Auxílio. 2002. 71f. Dissertação (Mestrado em

Engenharia de Produção) – UFSC, Florianópolis, 2002.

LIMA, Sérgio Luis dos Santos. Ergonomia Cognitiva e a Interação Pessoa-

Computador: Análise da Usabilidade da Urna Eletrônica 2002 e do Módulo

Impressor Externo. 2003. 123f. Dissertação (Mestrado em Engenharia de Produção) –

UFSC, 2003.

LIRA, Waleska S.; NOBREZA, Geralda M.; LIRA, Helio de L. Conhecimento e o Ensino

Universitário. Anais do XXVIII Congresso Brasileiro de Ensino de Engenharia

(COBENGE), Ouro Preto-MG, 2000.

LOPES, Glauco dos Santos. Ambientes Virtuais de Ensino – Aspectos Estruturais e

Tecnológicos. 2001. 158f. Dissertação (Mestrado em Engenharia de Produção) – UFSC,

Florianópolis, 2001.

MARTINS, Anderson A. M. et al. Um enfoque empreendedor para a Educação à

Distância: LED/UFSC. Revista Produção Online. Vol. 2, Num. 1, Junho de 2002, p.

MATIAS, M.. Check-list: Uma Ferramenta de Suporte à Avaliação Ergonômica de

Interfaces. Florianópolis, 1995. Dissertação (Mestrado em Engenharia de Produção) –

UFSC, Florianópolis, 1995.

MEDEIROS, Marco Aurélio. ISO 9241: Uma Proposta de Utilização da Norma para

Avaliação do Grau de Satisfação de Usuários de Software. 1999. 159f. Dissertação

(Mestrado em Engenharia de Produção) – UFSC, Florianópolis, 1999.

MORAES, Ubirajara Carnevale de; BARROS, Solange Duarte Palma de Sá. O uso de

ambientes virtuais de aprendizagem como estratégia de ensino. Anais do II Congresso

Internacional de Gestão da Tecnologia e Sistemas de Informação, São Paulo-SP, 2005.

91

MORANDINI, Marcelo. Critérios e Requisitos para Avaliação da Usabilidade de

Interfaces em Groupware – CSCW, 1998. Acesso via URL:

http://www.dca.fee.unicamp.br/courses/IA368F/1s1998/Monografias/morandini.html.

DIAS, Isabel Christina Corrêa; MÁSCULO, Francisco Soares. Avaliação de um software

utilizando ensaios de interação e a Norma NBR 9241:11. Anais do XXV Encontro

Nacional de Engenharia de Produção – ENEGEP, Porto Alegre, RS, Brasil, 29 out a 01

de nov de 2005.

NASCIMENTO JÚNIOR, Wellington Barbosa do. Modelagem do Conhecimento

Ergonômico para Avaliação da Usabilidade de Objetos de Interação. 2000. 123f.


NEVES JÚNIOR, Idalberto J. das; MEDEIROS, Thaís A.; BATISTA, Cristiane de P.

Aprendizagem Cooperativa e Tecnologia Educacional na Disciplina de Contabilidade

Geral II do Curso de Ciências Contábeis da Universidade Católica de Brasília – Em Estilo

Salesiano de Educar. Anais do XXX Encontro da ANPAD, 23 a 27 de setembro,

Salvador-BA, 2006.

NIELSEN, Jakob. How to Conduct a Heuristic Evaluation. 2005. Disponível em:

http://www.useit.com/papers/heuristic/heuristic_evaluation.html . Acesso em 03 Jun. 2007.

NIELSEN, Jakob. Usability engineering. EUA: Morgan Kaufmann, 1993.

NIELSEN, Jakob; MOLICH, Rolf. Heuristic evaluation of user interfaces. In: ACM

Conference on Human Factors in Computing Systems - CHI´90 Conference, Seattle.

April, 1990. p. 249-256.

NUNES, Ivônio Barros. Noções de educação a distância. Revista Educação a Distância.

Nrs. 4/5, Dez./93-Abr/94, Brasília, Instituto Nacional de Educação a Distância, pp. 7-25

Disponível em http://www.rau-tu.unicamp.br/nou-rau/ead/document/?code=3. Acesso em

10 de agosto de 2007.

OLIVEIRA, Elaine Rosangela de. Avaliação Ergonômica de Interfaces da SCIELO –

SCIENTIFIC ELECTRONIC LIBRARY ONLINE. 2001. 122f. Dissertação (Mestrado

em Engenharia de Produção) – UFSC, Florianópolis, 2001.

OLIVEIRA, Tânia Mara Paiva de. Interatividade na Educação à Distância. 2001. 125f.


92

PADILHA, Adelmo Vieira. Usabilidade na Web: Uma Proposta de Questionário para

Avaliação do Grau de Satisfação de Usuários do Comércio Eletrônico. 2004. 104f.

Dissertação (Mestrado em Ciência da Computação) – UFSC, Florianópolis, 2004.

PAGLIUSO, Priscilla de Barros Basso. Método para avaliação de interface Web

baseado nos princípios de usabilidade - AvalUWeb. 131p. Dissertação (mestrado

profissional). Universidade Estadual de Campinas. Faculdade de Engenharia Mecânica.

2004.

PIMENTA, Michelle de Lourdes. Avaliação da Usabilidade de Sites de Busca que

Utilizam Técnicas de Extração de Dados Semi-Estruturados. 2003. 80f. UFLA, Lavras,

2003.

PITHON, Antonio J. C; BROCHADO, Marina R. A Plataforma e-Proinfo como

Ferramenta de Apoio a Aprendizagem Colaborativa. Anais do XXVI ENEGEP, Fortaleza,

CE, Brasil, 9 a 11 de Outubro de 2006.

Portal IG. Ensino virtual já é oferecido por 33 universidades do País. Último Segundo.

São Paulo, 19 de fevereiro de 2003. Acesso na URL:

http://ultimosegundo.ig.com.br/materias/mundovirtual/1099501-

1100000/1099812/1099812_1.xml

PORTO, Tereza. Explosão do EAD e dos edublogs mostram a força da TI na

Educação. Boletim Faperj, 28/06/2007.

PRATES, M.; LOYOLLA, W.. A metodologia EDMC: Educação a Distância Mediada

por Computador. Disponível em: www.puccamp.br/~prates/edmc.html>. Acesso em: 23

set. 2005.

PREECE, J.. Human-Computer Interaction. New York: Ed. Eddison-Wesley Publishing

Company, 1994.

RAMAL, Andréa Cecília. Educação a Distância: entre mitos e desafios. Revista Pátio, ano

V, nº 18, agosto/outubro de 2001, p. 12-16.

RAMOS, A. S. M; OLIVEIRA, I. D. Adoção do software livre na Administração Pública:

estudo de caso na Universidade Federal do Rio Grande do Norte. Anais do XIII Simpósio

de Engenharia de Produção - SIMPEP. Bauru, SP, Brasil, 6 a 8 de Novembro de 2006.

93

REITZ, Doris Simone; AMARAL, Fernando Gonçalves; CYBIS, Walter de Abreu.

Abordagem Ergonômica de Avaliação de Websites no âmbito da Educação à Distância.

Revista Novas Tecnologias na Educação, Porto Alegre, v. 2, n. 2, 2004.

ROCHA, Heloísa V. et al. Projeto TelEduc: Pesquisa e Desenvolvimento de Tecnologia

para Educação à Distância. 2002. Disponível em:

http://teleduc.nied.unicamp.br/pagina/publicacoes/premio_abed2002.pdf. Acesso em 10 de

agosto de 2007.

ROCHA, Heloisa Vieira da; BARANAUSKAS, Maria Cecília Calani. Design e Avaliação

de Interfaces Humano-Computador. São Paulo – Escola de Computação: IME-USP,

2003.

SALEH, Amir Mostafa. Adoção de Tecnologia: Um Estudo Sobre o Uso de Software

Livre nas Empresas. 2004. 149f. Dissertação (Mestrado em Administração) – USP, São

Paulo, 2004.

SANTOS, Edméa O.; OKADA, Alexandra L. P. A construção de ambientes virtuais de

aprendizagem: por autorias plurais e gratuitas no ciberespaço. Disponível em:

http://www.projeto.org.br/alexandra/pdf/8_anped2003_okada&santos.pdf. Acesso em:

10/08/2007.

SANTOS, Robson Luís Gomes dos ; MORAES, Anamaria de . Usabilidade e Métodos de

Avaliação de Usabilidade de Interfaces Web. Anais do I Encontro Pan-americano de

Ergonomia, X Congresso Brasileiro de Ergonomia. Rio de Janeiro : Abergo, 2000.

SANTOS, Robson Luís Gomes dos. Ergonomização da Interação Homem-

Computador: Abordagem Heurística Para Avaliação da Usabilidade de Interfaces.

2000. 198f. Dissertação (Mestrado em Design) – PUC-Rio, Rio de Janeiro, 2000.

SCAPIN, Dominique L.: BASTIEN, J. M. C. Ergonomic criteria for evaluating the

ergonomic quality. of interactive systems. Behaviour and Information Technology.

vol.16, n. 4/5, July-October, 1997, p. 220-231.

SCHNEIDER, Maria Clara Kaschny. Educação à Distância: desafios para a interação

na sala de aula virtual pautados na transposição da tecnologia nos projetos de

videoconferência. 1999. 101f. Dissertação (Mestrado em Engenharia de Produção) –

Universidade Federal de Santa Catarina, Florianópolis, 2001.

94

SHNEIDERMAN, B.. Designing the user interface: strategies for effective human

computer- interaction. 3. ed. EUA: Addison-Wesley, 1998.

SILVA, Edna Lúcia da; MENEZES, Estera Muszkat. Metodologia da Pesquisa e

Elaboração de Dissertação. 4. ed. rev. atual.– Florianópolis: Laboratório de Ensino a

Distância da UFSC, 2005.

SILVA, Patrícia M.; COUTINHO, Mabel M. S; MONTEVECHI, José A. B. O

desenvolvimento da Pesquisa Operacional através do ensino à distância. Anais do XXIV

Encontro Nacional de Engenharia de Produção – ENEGEP, Florianópolis-SC, 3 a 5 de

novembro de 2004.

SOARES, Leônidas Garcia. Avaliação de Usabilidade, por Meio do Índice de

Satisfação dos Usuários, de um Software Gerenciador de Websites. 2004. 156f.

Dissertação (Mestrado Profissionalizante em Engenharia) – UFRGS, Porto Alegre, 2004.

SOUZA, A. C; SPEXK, H. J; ROHLEDER, E.; GÓMEZ, L. A. Avaliação comparativa da

qualidade ergonômica das interfaces gráficas do Solidworks 2000 e AutoCAD 2000.

XXIII Encontro Nacional de Engenharia de Produção – ENEGEP, Ouro Preto-MG,

Brasil, 21 a 24 de out de 2003.

TELEDUC. Ambiente de Ensino à Distância. Página do Projeto. Disponível em:

<http://teleduc.nied.unicamp.br/teleduc/>. Acesso em: 03 nov. 2006.

TESTA, Maurício G. A Influência das Preferências por Contato Social e da Auto-

Regulação dos Recursos de Aprendizagem do Estudante na Efetividade dos Cursos

Desenvolvidos na Internet. 253 p. Tese de Doutorado em Administração, UFRGS, Porto

Alegre, 2006.

YONEZAWA, Wilson M.; MORGADO, Eduardo M.; REINHARD, Nicolau. Webcurso –

Um Ambiente de Ensino à Distância na Internet. Anais do V Seminários de

Administração SEMEAD, São Paulo, junho de 2001.

95

Anexos

96

ANEXO I Ergolist PRESTEZA 1. Os títulos de telas, janelas e caixas de diálogo estão no alto, centrados ou justificados à esquerda? 2. Todos os campos e mostradores de dados possuem rótulos identificativos? 3. Caso o dado a entrar possua um formato particular, esse formato encontra-se descrito na tela? 4. As unidades para a entrada ou apresentação de dados métricos ou financeiros encontram-se descritas na

tela? 5. Os rótulos dos campos contêm um elemento específico, por exemplo ":", como convite às entradas de

dados? 6. Caso o dado a entrar possua valores aceitáveis esses valores encontram-se descritos na tela? 7. Listas longas apresentam indicadores de continuação, de quantidade de itens e de páginas? 8. As tabelas apresentam cabeçalhos para linhas e colunas consistentes e dis tinguíveis dos dados

apresentados? 9. Os gráficos possuem um título geral e rótulos para seus eixos? 10. Os botões que comandam a apresentação de caixas de diálogo apresentam em seus rótulos o sinal "..."

como indicador da continuidad e do diálogo? 11. As páginas de menus possuem títulos, cabeçalhos ou conv ites à entrada? 12. As opções de menu que levam a outros painéis de menu apresentam o sinal ">" como indicador desse

fato? 13. O usuário encontra disponíveis as informações necessárias para suas ações? 14. Nas caixas de mensagens de erro, o botão de comando "AJUDA" está sempre presente? 15. O usuário pode obter facilmente ajuda on line e contextual sobre as funcionalidades? 16. Existe a possibilidade do usuário obter a lista de comandos básicos da linguagem? 17. Na ocorrência de erros, o usuário pode acessar todas as informações necessárias ao diagnóstico e à

solução do problema? Agrupamento por Localização 1. O espaço de apresentação está diagramado em pequenas zonas funcionais? 2. A disposição dos objetos de interação de uma caixa de dialogo segue uma ordem lógica? 3. Nos agrupamentos de dados, os itens estão organizados espacialmente segundo um critério lógico? 4. Os códigos das teclas aceleradoras de opções de menu estão localizados à direita do nome da opção?

97

5. Nas listas de seleção, as opções estão organizadas segundo alguma ordem lógica? 6. Os paineis de menu são formados a partir de um critério lógico de agrupamento de opções? 7. Dentro de um painel de menu, as opções mutuamente exclusivas ou interdependentes estão agrupadas e

separadas das demais? 8. As opções dentro de um painel de menu estão ordenadas segundo algum critério lógico? 9. A definição da opção de menu selecionada por default segue algum critério? 10. Os grupos de botões de comando estão dispostos em coluna e à direita, ou em linha e abaixo dos objetos

aos quais estão associados? 11. O botão de comando selecionado por default está na posição mais alta, se os botões estão dispostos

verticalmente, ou na mais à esquerda, se os botões estão dispostos horizontalmente? Agrupamento por Formato 1. Os controles e comandos encontram-se visualmente diferenciados das informações apresentadas nas

telas? 2. Códigos visuais são empregados para associar diferentes categorias de dadosdistribuídos de forma

dispersa nas telas? 3. Os diferentes tipos de elementos de uma tela de consulta (dados, comandos e instruções) são visualmente

distintos uns dos outros? 4. Os rótulos são visualmente diferentes dos dados aos qu ais estão associados? 5. Os cabeçalhos de uma tabela estão diferenciados atr avés do emprego de cores diferentes, letras maiores

ou sublinhadas? 6. Em situações anormais, os dados críticos e que requeiram atenção imediata são diferenciados através do

uso de c ores brilhantes como por exemplo, o vermelho ou o rosa? 7. Sinais sonoros são empregados para alertar os usuários em relação a uma apresentação visual? 8. Na apresentação de textos, os recursos de estilo, como itálico, negrito, sublinhado ou diferentes fontes são

empregados para salientar palavras ou noções importantes? 9. Os itens selecionados para alteração, atualização ou acionamento estão destacados dos outros? 10. Nas situações de alarme e nas telas de alta densidade de informação, o recurso de intermitência visual é

empregado para salientar dados e informações? 11. Os campos obrigatórios são diferenciados dos campos opcionais de forma visualmente clara? 12. Nas caixas de mensagens, o botão selecionado por default tem uma apresentação visual suficientemente

distint a dos outros? 13. Em situações em que se exija atenção especial do usuário, as mensagens de alerta e de aviso são

apresentadas de maneira distinta? 14. A forma do cursor do mouse é diferente da de qualquer outro item apresentado?

98

15. As formas de cursores (dois ou mais) apresentados simultaneamente são suficientemente distintas umas das outras?

16. As caixas de agrupamento são empregadas para rea lçar um grupo de dados relacionados? 17. Quando apresenta opções não disponíveis no momento, o sistema as mostra de forma diferenciada

visualmente? Feedback 1. O sistema fornece feedback para todas as ações do usuário? 2. Quando, durante a entrada de dados, o sistema torna-se indisponível ao usuário, devido a algum

processamento longo, o usuário é avisado desse estado do sistema e do tempo dessa indisponibilidade? 3. O sistema fornece informações sobre o estado das impressões? 4. Os itens selecionados de uma lista são realçados visualmente de imediato? 5. A imagem do cursor fornece feedback dinâmico e contextual sobre a manipulação direta? 6. O sistema fornece ao usuário informações sobre o tempo de processamentos demorados? 7. O sistema apresenta uma mensagem informando sobre o sucesso ou fracasso de um processamento

demorado? 8. O sistema fornece feedabck imediato e contínuo das manipulações diretas? 9. O sistema define o foco das ações para os objetos recém criados ou recém abertos? 10. O sistema fornece feedback sobre as mudanças de atributos dos objetos? 11. Qualquer mudança na situação atual de objetos de controle é apresentada visualmente de modo claro ao

usuário? 12. O sistema fornece um histórico dos comandos entrados pelo usuário durante uma sessão de trabalho? LEGIBILIDADE 1. As áreas livres são usadas para separar grupos lógicos em vez de tê-los todos de um só lado da tela, caixa

ou janela? 2. Os grupos de objetos de controle e de apresentação que compõem as caixas de diálogo e outros objetos

compostos encontram-se alinhados vertical e horizontalmente? 3. Os rótulos de campos organizados verticalmente e muito diferentes em tamanho estão justificados à

direita? 4. A largura mínima dos mostradores de texto é de 50 caracteres? 5. A altura mínima dos mostradores de texto é de 4 linhas? 6. Os parágrafos de texto são separados por, pelo menos, uma linha em branco? 7. O uso exclusivo de maiúsculas nos textos é evitado? 8. O uso do negrito é minimizado?

99

9. O uso do sublinhado é minimizado? 10. Nas tabelas, linhas em branco são empregadas para separar grupos? 11. As listas de dados alfabéticos são justificadas à esquerda? 12. As listas contendo números decimais apresentam alinhamento pela vírgula? 13. As linhas empregadas para o enquadramento e segmentação de menus (separadores, delimitadores etc.)

são simples? 14. As bordas dos painéis dos menus estão suficientemente separadas dos textos das opções de modo a não

prejudicar a sua legibilidade? 15. O uso de abreviaturas é minimizado nos menus? 16. Os nomes das opções estão somente com a inicial em maiúsculo? 17. Os números que indicam as opções de menu estão alinhados pela direita? 18. Se a enumeração alfabética é utilizada, então as letras para seleção estão alinhadas pela esquerda? 19. As opções de uma barra de menu horizontal estão separadas por, no mínimo, 2 caracteres brancos? 20. Os rótulos de campos começam com uma letra maiúscula, e as letras restantes são minúsculas? 21. Os itens de dados longos são particionados em grupos mais curtos, tanto nas entradas como nas

apresentações? 22. Os códigos alfanuméricos do sistema agrupam separadamente letras e números? 23. Os ícones são legíveis? 24. O sistema utiliza rótulos (textuais) quando pode existir ambiguidade de ícones? 25. A informação codificada com o vídeo reverso está sempre legível? 26. O uso de vídeo reverso está restrito à indicação de feedback de seleção? 27. Os dados a serem lidos são apresentados de forma contínua, não piscantes ? CONCISÃO 1. O sistema oferece valores defaults para acelerar a entrada de dados? 2. A identificação alfanumérica das janelas é curta o suficiente para ser relembrada facilmente? 3. Os nomes das opções de menu são concisos? 4. Os ícones são econômicos sob o ponto de vista do espaço nas telas? 5. As denominações são breves? 6. As abreviaturas são curtas? 7. Os códigos arbitrários que o usuário deve memorizar são sempre menores do que 4 ou 5 caracteres? 8. Os rótulos são concisos?

100

9. Códigos alfanuméricos não significativos para o usuário e que devem ser entrados no sistema são menores do que 7 caracteres?

10. Na entrada de dados alfanuméricos, o sistema considera as letras maiúsculas e minúsculas como

equivalentes? 11. Na entrada de dados numéricos, o usuário é liberado do preenchimento do ponto decimal desnecessário? 12. Na entrada de dados numéricos, o usuário é liberado do preenchimento do zeros fracionários

desnecessários? 13. Na entrada de valores métricos ou financeiros, o usuário é liberado do preenchimento da unidade de

medida? 14. É permitido ao usuário reaproveitar os valores definidos para entradas anteriores, podendo inclusive

alterá-los? AÇÕES MÍNIMAS 1. Em formulário de entrada de dados o sistema posiciona o cursor no começo do primeiro campo de

entrada? 2. Na realização das ações principais em uma caixa de diálogo, o usuário tem os movimentos de cursor

minimizados através da adequada ordenação dos objetos? 3. O usuário dispõe de um modo simples e rápido (tecla TAB por exemplo) para a navegação entre os

campos de um formulário? 4. Os grupos de botões de comando possuem sempre um bot ão definido como default? 5. A estrutura dos menus é concebida de modo a diminuir os passos necessários para a seleção? DENSIDADE INFORMACIONAL 1. A densidade informacional das janelas é reduzida? 2. As telas apresentam somente os dados e informações necessários e indispensáveis para o usuário em sua

tarefa? 3. Na entrada de dados codificados, os códigos apresentam somente os dados necessários estão presentes na

tela de uma maneira distinguível? 4. O sistema minimiza a necessidade do usuário lembrar dados exatos de uma tela para outra? 5. Na leitura de uma janela, o usuário tem seus movimentos oculares minimizados através da distribuição

dos objetos principais segundo as linhas de um "Z" ? 6. O sistema evita apresentar um grande número de janelas que podem desconcentrar ou sobrecarregar a

memória do usuário? 7. Na manipulação dos dados apresentados pelo sistema, o usuário está liberado da tradução de unidades? 8. As listas de seleção e combinação apresentam uma altura correspondente a um máximo de nove linhas? 9. Os painéis de menu apresentam como ativas somente as opções necessárias?

101

AÇÕES EXPLÍCITAS 1. O sistema posterga os processamentos até que as ações de entrada do usuário tenham sido completadas? 2. Durante a seleção de uma opção de menu o sistema permite a separação entre indicação e execução da

opção? 3. Para iniciar o processamento dos dados, o sistema sempre exige do usuário uma ação explícita de

"ENTER"? 4. É sempre o usuário quem comanda a navegação entre os campos de um formulário? CONTROLE DO USUÁRIO 1. O usuário pode terminar um diálogo seqüencial repetitivo a qualquer instante? 2. O usuário pode interromper e retomar um diálogo seqüencial a qualquer instante? 3. O usuário pode reiniciar um diálogo seqüencial a qualquer instante? 4. Durante os períodos de bloqueio dos dispositivos de entrada, o sistema fornece ao usuário uma opção para

interromper o processo que causou o bloqueio? FLEXIBILIDADE 1. Os usuários têm a possibilidade de modificar ou eliminar itens irrelevantes das janelas? 2. Ao usuário é permitido personalizar o diálogo, através da definição de macros? 3. É permitido ao usuário alterar e personalizar valores definidos por default? EXPERIÊNCIA DO USUÁRIO 1. Caso se trate de um sistema de grande público, ele oferece formas variadas de apresentar as mesmas

informações aos diferentes tipos de usuário? 2. Os estilos de diálogo são compatíveis com as habilidades do usuário, permitindo ações passo-a-passo para

iniciantes e a entrada de comandos mais complexos por usuários experimentados? 3. O usuário pode se deslocar de uma parte da estrutura de menu para outra rapidamente? 4. O sistema oferece equivalentes de teclado para a seleção e execução das opções de menu, além do

dispositivo de apontamento (mouse,...)? 5. O sistema é capaz de reconhecer um conjunto de sinônimos para os termos básicos definidos na

linguagem de comando, isto para se adap tar aos usuários novatos ou ocasionais? 6. O usuário experiente pode efetuar a digitação de vários comandos antes de uma confirmação? PROTEÇÃO CONTRA ERROS 1. O sistema apresenta uma separação adequada entre áreas selecionáveis de um painel de menu de modo a

minimizar as ativações acidentais? 2. Em toda ação destrutiva, os botões selecionados por default realizam a anulação dessa ação?

102

3. Os campos numéricos para entrada de dados longos estão subdivididos em grupos menores e pontuados com espaços, vírgulas, hífens ou barras?

4. Ao final de uma sessão de trabalho o sistema informa sobre o risco de perda os dados? 5. O sistema emite sinais sonoros quando ocorrem problemas na entrada de dados? 6. As teclas de funções perigosas encontram-se agrupadas e/ou separadas das demais no teclado? 7. O sistema solicita confirmação (dupla) de ações que podem gerar perdas de dados e/ou resultados

catastróficos? MENSAGENS DE ERRO 1. As mensagens de erro ajudam a resolver o problema do usuário, fornecendo com precisão o local e a

causa específica ou provável do erro, bem como as ações que o usuário poderia realizar para corrigí-lo? 2. As mensagens de erro são neutras e polidas? 3. As frases das mensagens de erro são curtas e construídas a partir de palavras curtas, significativas e de

uso comum? 4. As mensagens de erro estão isentas de abreviaturas e/ou códigos gerados pelo sistema operacional? 5. O usuário pode escolher o nível de detalhe das mensagens de erro em função de seu nível de

conhecimento? 6. A informação principal de uma mensagem de erro encontra-se logo no início da mensagem? 7. Quando necessário, as informações que o usuário deve memorizar encontram-se localizadas na parte final

da mensagem de erro? 8. Em situações normais as mensagens de erro são escritas em tipografia mista? 9. As mensagens de erro têm seu conteúdo modificado quando na repetição imediata do mesmo erro pelo

mesmo usuário? CORREÇÃO DE ERROS 1. Qualquer ação do usuário pode ser revertida através da opção DESFAZER? 2. Através da opção REFAZER, a regressão do diálogo, também pode ser desfeita? 3. Os comandos para DESFAZER e REFAZER o diálogo estão diferenciados? 4. O sistema reconhece e através de uma confirmação do usuário, executa os comandos mais freqüentes

mesmo com erros de ortografia? 5. Depois de um erro de digitação de um comando ou de dados, o usuário tem a possibilidade de corrigir

somente a parte dos dados ou d o comando que está errada? CONSISTÊNCIA 1. A identificação das caixas, telas ou janelas são únicas? 2. A organização em termos da localização das várias características das janelas é mantida consistente de

uma tela para outra?

103

3. A posição inicial do cursor é mantida consistente ao longo de todas as apresentações de formulários? 4. Uma mesma tecla de função aciona a mesma opção de uma tela para outra? 5. Os ícones são distintos uns dos outros e possuem sempre o mesmo significado de uma tela para outra? 6. A localização dos dados é mantida consistente de uma tela para outra? 7. Os formatos de apresentação dos dados são mantidos consistentes de uma tela para outra? 8. Os rótulos estão na mesma posição em relação aos campos associados? 9. O símbolo para convite à entrada de dados é padronizado (por exemplo " : " )? 10. As áreas de entrada de comandos estão na mesma posição de uma tela para outra? 11. Os significados dos códigos de cores são seguidos de maneira consistente? SIGNIFICADOS 1. As denominações dos títulos estão de acordo com o que eles representam? 2. Os títulos das páginas de menu são explicativos, refletindo a natureza da escolha a ser feita? 3. Os títulos das páginas de menus são distintos entre si? 4. Os títulos das páginas de menus são combináveis ou componíveis? 5. As denominações das opções de menu são familiares ao usuário? 6. O vocabulário utilizado nos rótulos, convites e mensagens de orientação são familiares ao usuário,

evitando palavras difíceis? 7. O vocabulário utilizado em rótulos, convites e mensagens de orientação é orientado à tarefa, utilizando

termos e jargão técnico normalmente empregados na tarefa? 8. Os cabeçalhos de colunas de dados são sign ificativos e distintos? 9. O sistema adota códigos significativos ou familiares aos usuários? 10. As abreviaturas são significativas? 11. As abreviaturas são facilmente distinguíveis umas das outras, evitando confusões geradas por

similaridade? 12. A intermitência luminosa (pisca-pisca) é usada com moderação e somente para atrair a atenção para

alarmes, avisos ou mensagens críticas? COMPATIBILIDADE 1. As telas são compatíveis com o padrão do ambiente? 2. A imagem do formulário na tela do terminal assemelha-se com o formulário de entrada em papel? 3. O sistema propõe uma caixa de diálogo modal, quando a aplicação deve ter todos os dados antes de

prosseguir ou quando o usuário tenha de responder a uma questão urgente?

104

4. As caixas de diálogo do sistema apresentam um botão de validação, um botão de anulação e, se possível, um botão de ajuda?

5. Os significados usuais das cores são respeitados nos códigos de cores definidos? 6. As opções de codificação por cores são limitadas em número? 7. As informações codificadas através das cores apresentam uma codificação adicional redundante? 8. A taxa de intermitência para elementos piscantes está entre 2 e 5 Hz (2 a 5 piscadas por segundo)? 9. A apresentação sonora é compatível com o ruído do ambiente? 10. As mensagens são sempre afirmativas e na voz ativa? 11. Quando uma frase descreve uma seqüência de eventos, a ordem das palavras na frase corresponde à

seqüência temporal dos eventos? 12. Ilustrações e animações são usadas para completar as explicações do texto? 13. O sistema segue as convenções dos usuários para dados padronizados? 14. O sistema utiliza unidades de medida familiares ao usuário? 15. Dados numéricos que se alterem rapidamente são apresentados analogicamente? 16. Dados numéricos que demandam precisão de leitura são apresentados digitalmente? 17. Os itens são numerados com números, não com letras? 18. Os identificadores numéricos de opção de menu iniciam de "1", e não de "0"? 19. Os eixos de um gráfico apresentam escalas numéricas iniciando em zero, com intervalos padronizados,

crescendo da esquerda para a direita e de cima para baixo? 20. Os itens de um grupo de botões de rádio são mutuamente exclusivos? 21. Os itens de um grupo de caixas de atribuição permitem escolhas independentes?

105

ANEXO II Atividades do Aluno

TELEDUC 1) Verifique em Agendas Anteriores, a agenda do dia 17/08/2006.

2) Faça a atividade do dia 03/09/2006. Nessa atividade, você deve acessar a página indicada.

3) Acesse o material de apoio do dia 03/09/2006 e faça o download do arquivo disponibilizado.

4) Responda a enquête de título “Dúvida ...”.

5) Participe do fórum respondendo a pergunta: “O que você acha de Matemática?”.

6) Envie uma mensagem para o formador de nome Cicrano solicitando o adiamento da prova da próxima semana.

AULANET 1) Acesse o curso Metodologia Científica (EeBD) e verifique o nome do coordenador.

2) Em Plano de aulas, verifique os conteúdos da aula de título Língua Portuguesa, e veja o arquivo do conteúdo de título Fases da Língua Portuguesa.

3) Verifique em Agenda, os avisos do período entre 03/09/2006 e 09/09/2006.

4) Resolva a tarefa Enviar Arquivo. Caso já esteja resolvida, envie um novo arquivo resubmetendo a tarefa novamente.

5) Participe da conferência respondendo a pergunta: “Quem veio primeiro: o ovo ou a galinha???”.

6) Em Contato com docentes, envie uma mensagem para os coordenadores do curso perguntando se haverá aula na próxima semana.

E-PROINFO 1) Acesse a turma Introdução à Metodologia.

2) Verificar a agenda.

3) Escrever um e-mail para o professor administrador da turma pedindo para fazer prova de segunda chamada.

4) Participar do fórum Metodologia é Muito Bom concordando ou discordando sobre o tema em discussão.

5) Em Material do Aluno, enviar o arquivo que está no disquete para a turma.

6) Verificar as atividades da turma.

106

Anexo III

Atividades do Professor

TELEDUC 1) Crie uma nova agenda com o título ______________ informando reunião que

acontecerá no dia __________ e que tratará do assunto _____________.

2) Crie uma nova atividade com o título ______________ que peça aos alunos que acessem o site que você informará.

3) Disponibilize um material de apoio para todos os participantes do curso. O título deste material deve ser _____________ e o arquivo a ser anexado encontra-se no disquete.

4) Crie uma enquete com a seguinte pergunta: __________________. A Enquete deve ficar ativa por dois dias, contados a partir da data de hoje. Obs: Devem existir apenas três respostas possíveis para a sua enquete: “Sim”, “Não” ou “Não sei”.

5) No menu Administração, torne visível, somente para você (formador/professor), as seguintes ferramentas: Portfólio, Acessos e Intermap.

6) Crie um novo fórum para discutir o seguinte tema: “O que você acha do(a) ____________?”.

AULANET 1) Em Plano de Aulas, selecione AulaNet e crie um plano de aula certificado. Após

informar o nome e a descrição do plano de aula, inclua um conteúdo nessa aula.

2) Crie uma tarefa não certificada, com o título ___________________, pedindo para que os alunos façam um(a) ________________. A data de disponibilização deverá ser a data de hoje e a data de entrega, a data de amanhã.

3) Em Agenda, crie um lançamento livre com o título ______________ informando visita técnica que acontecerá no dia __________ e que tratará do assunto _____________. A data de início deverá ser a data de hoje e a data de fim, a data de amanhã.

4) Disponibilize um material de exemplo para a tarefa que foi criada no passo 2. O arquivo a ser anexado encontra-se no disquete.

5) Disponibilize para consulta uma bibliografia de sua preferência.

6) Crie uma nova conferência para discutir o seguinte tema: “O que você acha do(a) ____________?”. A data de disponibilização deverá ser a data de hoje e a data de entrega, a data de amanhã.

107

E-PROINFO

1) Criar um grupo de projeto chamado Pesquisa em _________________.

2) Crie um aviso para a turma com a seguinte mensagem: Prova adiada para a próxima semana. A data de entrada deverá ser a data de hoje e a saída, a data de amanhã.

3) Autorize a publicação, para a turma, do material do aluno Fulano.

4) Crie um novo fórum para discutir o seguinte tema: Para você, o que é ________________?

5) Em Agenda, informe o seguinte: Os seminários terão início na próxima semana com os grupos 1 e 2. A data de entrada deverá ser a data de hoje e a saída, a data de amanhã.

6) Crie uma enquete com a seguinte pergunta: O que você acha do(a) ________________? Obs: Devem existir apenas três respostas possíveis para a sua enquete: “Bom”, “Regular” ou “Péssimo”.

108

ANEXO IV

Questionário

DADOS PESSOAIS

1. Sexo:

( ) Masculino

( ) Feminino

2. Em qual faixa etária você está incluído ?

( ) Até 25 anos

( ) De 26 a 30 anos

( ) De 31 a 40 anos

( ) De 41 a 50 anos

( ) Mais de 50 anos

3. Qual o seu nível de instrução ?

( ) Ensino Fundamental (completo)

( ) Ensino Fundamental (incompleto)

( ) Ensino Médio (completo)

( ) Ensino Médio (incompleto)

( ) Superior (completo)

( ) Superior (incompleto)

( ) Especialização

( ) Mestrado

( ) Doutorado

4. Qual o seu nível de experiência com computador ?

( ) Usuário com pouca experiência

( ) Usuário com muita experiência

5. Usa a Internet há:

( ) Menos de 6 meses

109

( ) de 6 a 12 meses

( ) de 1 a 2 anos

( ) Mais de 2 anos

6. Usuário tutor ou usuário aluno?

( ) Professor

( ) Aluno

AVALIAÇÃO

7. O ambiente lhe guia durante a navegação lhe informando, por exemplo, em que local

você se encontra no ambiente e quais ações você deve tomar para realizar uma determinada

tarefa.

Discordo Plenamente

Discordo Indeciso Concordo Concordo Plenamente

1 2 3 4 5

8. O sistema sempre informa quando uma determinada ação está sendo ou foi realizada. E

ele faz isso de forma rápida e clara.

Discordo Plenamente


1 2 3 4 5

9. O formato, o tamanho e as cores das letras dos textos do ambiente apresentam-se de

maneira clara e legível.

Discordo Plenamente


1 2 3 4 5

10. Os botões, imagens e textos que se encontram na tela do ambiente sempre aparecem

organizados e agrupados a partir de algum critério lógico (em ordem alfabética, mais

utilizados e etc).

Discordo Plenamente

Discordo Indeciso Concordo Concordo

Plenamente 1 2 3 4 5

110

11. Os botões, imagens e textos apresentam-se com formatos e cores diferenciados a fim de

distingui-los uns dos outros.

Discordo Plenamente



12. Os nomes dos botões e demais itens apresentados nas telas do ambiente são concisos,

ou seja, são breves e precisos.

Discordo Plenamente



13. Para a realização de uma tarefa qualquer, o ambiente requer do usuário um pequeno

número de ações ou passos.

Discordo Plenamente



14. A densidade informacional das telas está na medida certa, ou seja, as telas do ambiente

apresentam-se com um número de informações aceitável tornando fácil o entendimento da

informação por parte do usuário.

Discordo Plenamente


1 2 3 4 5

15. Você possui total controle sobre o que está sendo feito pelo ambiente, ou seja, o

computador realiza apenas as tarefas solicitadas por você e apenas na hora que você

ordena.

Discordo Plenamente


1 2 3 4 5

111

16. No caso da existência de tarefas seqüenciais, o ambiente possibilita ao usuário ter total

controle sobre este procedimento, ou seja, ele poderá interromper, cancelar ou mesmo

reiniciar a tarefa.

Discordo Plenamente


1 2 3 4 5

17. O ambiente apresenta formas diferentes de realizar uma mesma tarefa, ou seja, você

pode escolher, dentre caminhos diferentes, aquele que você se sente mais à vontade para

realizar uma determinada tarefa.

Discordo Plenamente



18. Você sempre encontra no ambiente a opção de personalização, ou seja, usuários

inexperientes recebem informações diferentes (mais detalhadas) das informações

repassadas para usuários mais experientes na utilização do ambiente.

Discordo Plenamente



19. O ambiente sempre apresenta mecanismos (Ex: avisos através de mensagens de erro)

que evitam que o usuário informe dados inválidos (Ex: datas inválidas e etc) ou proceda de

maneira errada.

Discordo Plenamente


1 2 3 4 5

20. As mensagens de erro apresentadas pelo ambiente são sempre claras, precisas e

bastante explicativas com relação à natureza do erro cometido.

Discordo Plenamente



112

21. Quando ocorre um problema e uma mensagem de erro é apresentada, caminhos para

resolver o problema são apresentados pelo ambiente.

Discordo Plenamente



22. O ambiente apresenta homogeneidade entre uma tela e outra, ou seja, as organizações

das telas são similares quando você sai de uma tela para outra.

Discordo Plenamente



23. Os termos utilizados no ambiente possuem um significado claro para você, ou seja,

utilizam uma linguagem de fácil compreensão e entendimento.

Discordo Plenamente



24. A forma com que o sistema se apresentou para você foi de fácil compreensão e com

isso facilitou a sua navegação no ambiente.

Discordo Plenamente


1 2 3 4 5

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE · critÉrios ergonÔmicos de bastien e scapin:...

Documents

Transcript of UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE · critÉrios ergonÔmicos de bastien e scapin:...