Usabilidade, acessibilidade e desenho universal para...
Transcript of Usabilidade, acessibilidade e desenho universal para...
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
Usabilidade, acessibilidade e desenho universal para aprendizagem: a experiência de usuários com deficiência na educação à distância
Usability, accessibility and universal design for learning: the experience of users with disabilities in distance education.
Janaina Ramos MARCOS1 Susana Cristina DOMENECH 2
Marcelo Gitirana Gomes FERREIRA 3 Luciana D. LOPES 4
Universidade do Estado de Santa Catarina - UDESC, SC Resumo O presente trabalho tem como objetivo apresentar os resultados da pesquisa que compõe a dissertação de mestrado em Design na Universidade do Estado de Santa Catarina. A pesquisa tratou de analisar as interfaces de um curso de extensão virtual do Centro de Ensino à Distância da Universidade, alocado no ambiente virtual de aprendizagem MOODLE®. O experimento foi dividido em duas fases. Na fase 1, um modelo de análise de usabilidade e acessibilidade foi aplicado na interface atual, vigente do curso (A), com o objetivo de identificar os principais problemas e erros presentes no curso. Na fase 2, foi desenvolvido um protótipo com os mesmos conteúdos, porém organizado e planejado de acordo com os padrões de acessibilidade e usabilidade. As duas interfaces foram apresentadas a um grupo de 9 usuários, composto por pessoas portadores de deficiência visual, deficiência auditiva, voluntários que já haviam feito o curso e designers, objetivando analisar as mudanças e o consequente nível de satisfação destes voluntários. Dois modelos de avaliação de usabilidade foram utilizados e apresentados aos voluntários, o modelo GOMS e o QUIS, com cada interface, e as respostas foram comparadas para analisar o desempenho, a eficácia e a satisfação do usuário, visando melhorar o acesso dos alunos a cursos de educação a distância. Palavras-chave: Acessibilidade. Usabilidade. Interface. Ensino à distância. Design Abstract This paper aims to present the results of research that forms the dissertation in Design at the University of the State of Santa Catarina. The research tried to analyze the interfaces of a virtual extension course at the Center for Distance Learning University, allocated in the virtual learning environment Moodle ®. The experiment was divided into two phases. In
1 [email protected] 2 [email protected] 3 [email protected] 4 [email protected]
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
phase 1, a model of usability and accessibility analysis was applied in the current interface, the current course (A), with the aim of identifying the main problems and errors present in the course. In phase 2, a prototype was developed with the same content, but planned organized according to the standards of accessibility and usability. Both interfaces were presented to a group of 9 users, composed of people with visual impairment, hearing impairment, volunteers who had taken the course and designers, aimed at analyzing the changes and the consequent level of satisfaction of these volunteers. Two models for usability evaluation were used and they were presented to the volunteers, the GOMS model and WANTED, with each interface, and the responses were compared to analyze the performance, efficiency and user satisfaction, to improve students' experience with e-learning courses. Keywords: Accessibility. Usability. Interface. e-Learning. Design.
1. Introdução
A sociedade contemporânea vem sofrendo transformações tecnológicas e de
comportamento ao longo deste último século. Consequentemente, a escola e o aprendizado
também estão vivenciando – principalmente nestas últimas décadas – uma série de mudanças.
É o caso da Educação online, também chamada de ensino à distância ou EaD, que Batista
(2008) caracteriza como a modalidade de educação em que o aprendizado se processa pela
internet, pela possibilidade do encontro virtual. Azevedo (2007) acredita que esta modalidade
de ensino acontece através da interação entre as pessoas, podendo ser mediada pela
tecnologia, sendo esta um meio e não um fim. Moran (2003) argumenta que nos próximos
anos, a educação online será o foco central da aprendizagem. Apesar de que ainda existam os
suportes tradicionais da EaD, Silva (2003) acredita que a tendência atual da educação online é
uma exigência da “cibercultura”, pelo fato de possuir estratégias que se desenvolvem
paralelas ao ciberespaço. Assim, a educação online é uma demanda da sociedade da
informação, desse contexto socioeconômico e tecnológico, cujo centro reside na informação
digitalizada como novo modelo de produção.
Mas neste novo modelo de educação, as pessoas portadoras de deficiências muitas
vezes encontram algumas barreiras para seu acesso, e acabam desistindo do curso, sem
completar a formação. Pessoas com deficiência visual não encontram interfaces adequadas
aos softwares de leitura de tela e deficientes auditivos têm dificuldades de acesso à conteúdos
traduzidos para LIBRAS ou legendados, para facilitar sua compreensão.
Em contrapartida, as instituições de ensino também precisam se adequar à legislação
brasileira, sobretudo à Lei de diretrizes e Bases da Educação e a Lei da Acessibilidade, além
das normas para implantação de curso de ensino à distância, regulamentadas pelo Ministério
da Educação.
Neste contexto surge o objeto de estudo da pesquisa de mestrado e seus objetivos,
analisar a usabilidade, a acessibilidade e a experiência de usuário de uma interface de curso
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
de ensino à distância além de propor um protótipo para análise dos usuários, com os mesmos
conteúdos, porém desenvolvido segundo padrões de acessibilidade e usabilidade, para
comparar as respostas e obter os níveis de satisfação com ambas interfaces.
2. Referencial teórico
Os principais fundamentos teóricos passaram sobre a legislação brasileira, sobretudo
a LDB (1996), que em seu Art. 59 estabelece que “os sistemas de ensino assegurarão aos
educandos com necessidades especiais: I - currículos, métodos, técnicas, recursos educativos
e organização específicos, para atender às suas necessidades”. A “ Lei da Acessibilidade”,
decreto nº 5296, que cita também que deve haver condição para utilização, com segurança e
autonomia, total ou assistida (...) de sistemas e meios de comunicação e informação, por
pessoa portadora de deficiência ou com mobilidade reduzida. (BRASIL, 2004)
Sobre usabilidade e acessibilidade digital, o modelo de análise, os conceitos e
fundamentos que nortearam a pesquisa foram propostos por Dias (2007). O modelo utilizado
foi categorizado segundo os Critérios ergonômicos de Bastien e Scapin, Regras de Ouro de
Shneiderman e Heurísticas de Nielsen e distribuídos da seguinte forma:
Quadro 1: Modelo de Análise de Usabilidade
H (heurísticas de usabilidade) C (conteúdo informacional)
P (prioridade da informação)
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário;
C1 – credibilidade P1 – alta
H2 – Projeto estético e minimalista; C2 – suporte P2 – média
H3 – controle do usuário; C3 – previsão P3 – baixa
H4 – Flexibilidade e eficiência de uso;
H5 – prevenção de erros;
H6 – consistência
H7 – compatibilidade com o contexto.
Fonte: Dias (2007).
Moderar testes de usabilidade com algumas populações, segundo Dumas, Loring
(2008), requer um conhecimento adicional, treinamento e preparativos. Mesmo assim,
moderar uma sessão que inclui tecnologia assistiva, intérpretes, ou vários modos de
comunicação pode ser uma experiência muito gratificante. Para recrutar as pessoas que com
deficiência visual, a ferramenta de seleção de usuários para o teste deve incluir, conforme
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
Dumas; Loring (2008), algumas questões como: Será que você tem transporte que pode traze-
lo até o local do teste? Precisa de alguma instalação especial? Do que precisa? Qual é o seu
nome? Lê em Braille? Usa tecnologia assistiva (por exemplo, leitor de tela)? Além destas
perguntas, deve-se ler os documentos em voz alta e oferecer documentos para leitura que
tenha letras maiores que 18 pontos, no caso de pessoas com baixa visão. Para pessoas com
deficiência auditiva, o autor (2008) recomenda que talvez seja necessária a presença de um
intérprete durante a avaliação, o que pode aumentar o tempo de execução das tarefas. Não se
deve olhar para o intérprete para ouvir a tradução do que o participante assinalou ou para
assistir o sinal de intérprete para o participante. Na verdade, é considerada uma boa prática
ignorar a comunicação que está ocorrendo e concentrar-se no participante, que está falando.
Para analisar a experiência do grupo de usuários foram utilizados dois questionários.
Com base no método GOMS - Goals, Operators, Methods and Selections rules), proposto por
Card, Moran e Newell, (1983) citado em Cybis et al. (2010, p. 210), foi aplicado um
questionário que tinha por objetivo tomar o tempo das ações físicas e cognitivas associadas à
forma correta de realização de uma tarefa. Outro questionário aplicado foi uma adaptação do
QUIS (questionnaire for user interface satisfaction), citado por Dias (2007), para verificar o
nível de satisfação do usuário com as interfaces apresentadas. O QUIS abrange aspectos da
interface (legibilidade, layout, ícones, apresentação das telas na realização das tarefas e
terminologia adequada).
3. Métodos e procedimentos
O trabalho adotou na fase 1 o estudo de caso e na fase 2 o estudo comparativo como
métodos de pesquisa. Segundo Fialho; Neubauer Filho (2008, p. 4522), o estudo de caso é
um:
tipo de estudo onde o pesquisador geralmente, utiliza como técnicas fundamentais de pesquisa a observação, a entrevista e dados documentais. A técnica da observação tem um papel essencial e, frequentemente, é combinada com a entrevista. Procura-se, de forma geral, organizar e analisar todo o material obtido, afim de se compreender uma dada realidade e propor a sua reprodução ou correções.
Marconi; Lakatos (2011, p. 82), o estudo comparativo é um método que
realiza comparações com a finalidade de verificar similitudes e explicar divergências. […] É usado tanto para comparações de grupos no presente, no passado, ou entre os existentes e os do passado, quanto entre sociedades de iguais ou de diferentes estágios de desenvolvimento.
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
O objeto estudado foi o ambiente virtual de aprendizagem do curso de extensão à
distância, intitulado “A deficiência física no contexto escolar”, promovido pelo Laboratório
de Educação Inclusiva, do Centro de Ensino à distância (CEAD) da Universidade do Estado
de Santa Catarina (UDESC). As figuras 1 e 2 mostram duas das telas principais do curso.
Figura 1: Tela de abertura - Interface A - Curso de extensão
Fonte: http://www.moodle.udesc.br
A figura 2 apresenta a tela de abertura do curso de extensão virtual.
Figura 2: Interface A - Vídeo inserido no ambiente do Curso de extensão
Fonte: http://www.moodle.udesc.br
Compondo o grupo para a avaliação de experiência de usuário, modelo citado por
Dias, (2007), Cybis et al. (2010) e Rubin (2008) foram avaliados 15 pessoas, segundo uma
amostra por conveniência definida por Tullis; Albert, (2008) e categorizados em:
• Sujeitos portadores de deficiência visual (DV): completa ou parcial, adultos
(maiores de 18 anos), usuários de tecnologia assistiva para leitura de telas do
computador, familiarizados com tecnologias da informação e comunicação e que
possuam computador com acesso à internet (n= 4);
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
• Sujeitos portadores de deficiência auditiva (DA): completa ou parcial,
alfabetizados em LIBRAS ou português, familiarizados com tecnologias da
informação e comunicação e que possuam computador com acesso à internet (n= 3);
• Sujeitos especialistas (DE): designers, adultos, que trabalham e estudam interação e
experiência de usuário e que possuam computador com acesso à internet (n= 5);
• Sujeitos sem deficiência, alunos do curso anterior (AL) : adultos, que fizeram o
curso de extensão do CEAD, completo ou não, que sejam familiarizados com
tecnologias da informação e que possuam computador com acesso à internet (n= 3).
O delineamento experimental foi dividido em duas fases, análise de usabilidade e
conformidade com o UDL e avaliação de experiência de usuário. A fase 1, estudo de caso que
compreendeu uma avaliação analítica de usabilidade e acessibilidade no conteúdo e
ferramentas propostas pelos professores do curso de extensão virtual promovido pelo CEAD
– UDESC (denominada interface “A”).
A fase 2 envolveu a descrição do perfil dos usuários (separados em 4 grupos: DV,
DA, DE e AL) e avaliação de usabilidade e análise de experiência de usuário nas interfaces
“A” e “B”, através da aplicação do questionário de coleta de perfil, teste de usabilidade
utilizando métricas fundamentadas no modelo GOMS (Goals, Operators, Methods and
Selection Rules) e avaliação de satisfação de usuários através do QUIS (Questionnaire for
User Interface Satisfaction), citados em Cybis et al. (2010).
5. Resultados e discussões
O curso foi aplicado no período de julho a agosto de 2012. A análise de acessibilidade
e usabilidade, realizada durante a fase 1 do experimento, utilizou-se do modelo de Dias
(2007), apresentado pela tabela. Alguns exemplos do resultado da análise podem ser
observados nas figuras 3 e 4 abaixo.
Figura 3: Tela de abertura – Interface A – Análise usabilidade
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
Fonte: http://www.moodle.udesc.br
A figura 4 demonstra que o título do curso, apresentado na tela 1 não apresenta
conformidade com a heurística 1 (H1 – visibilidade e reconhecimento do estado, contexto
atual e condução do usuário) e a prioridade 1 (P1 - informação clara) de usabilidade do
modelo de Dias (2007), não apresentado visibilidade e reconhecimento do estado, contexto
atual e condução do usuário, por se tratar de um título com imagem. Para usuários com
deficiência visual, que se utilizam de tecnologia assistiva para leitura de tela, apresentado
dessa maneira, o título torna-se sem legibilidade. Já para portadores de deficiência auditiva, o
problema H1 apresenta-se no próprio título em si, já que pessoas com essa deficiência, muitas
vezes são alfabetizadas em LIBRAS e muitas palavras não possuem sinônimos ou tradução,
como é o caso da palavra "contexto". Esta interface também apresenta problema com a
heurística 4 (H4 – Flexibilidade e eficiência de uso) tanto no título, quanto na imagem
apresentada. A imagem traz uma legenda que deve ser utilizada para descrever a imagem.
Neste, caso, a legenda traz uma frase onde uma palavra está escrita com um carácter especial
"@". A frase "Sejam tod@s bem vindos", pode ser entendida por pessoas "normais" mas para
pessoas com visão baixa ou com cegueira completa, torna-se incompreensível, uma vez que o
leitor não reconhece a "@" como uma letra e não faz a leitura correta da frase. Também não
são atendidas as heurísticas C (C1 – credibilidade e C2 – suporte), uma vez que não é
compreendida completamente a imagem.
A figura 3 apresenta a tela do curso que continha o vídeo de apresentação do curso.
Figura 3: Tela de abertura – Interface A – Análise usabilidade
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
Fonte: http://www.moodle.udesc.br
Tais análises geraram um quadro resumo das principais inconformidades
apresentadas pela interface do curso de extensão de acordo com o modelo proposto por Dias
(2007). O quadro 2 apresenta estes resultados.
Quadro 2 – Resumo análise da Interface A conforme modelo Dias (2007)
Tela Código (modelo) Inconformidade encontrada
Tela 1 – Interface (A) – “Meus Cursos”
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário.
P1
A interface deve ser executável em todos navegadores e suportes.
A interface oferece baixo contraste no título.
Tela 2 – Interface (A) – Sala de Aula
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário
P1
C1,C2 – credibilidade, suporte
H4 – flexibilidade e eficiência de uso.
Título em formato de imagem;
Caractere especial utilizado em palavra, inteligível para softwares de leitura de tela;
Imagem sem legenda descritiva
Tela 3 – Interface (A) –Texto de Ambientação
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário
P1
Caractere especial utilizado em palavra.
Arquivos para download somente com uma opção de formato
Tela 4 – Interface (A) – vídeo de apresentação
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário
P1
C1,C2 – credibilidade, suporte
H4 – flexibilidade e eficiência de uso.
Vídeo sem legendas e sem tradução para LIBRAS;
Vídeo sem opção de áudio.
Tela 5 – Interface (A) –“Fórum de notícias”
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário
Caractere especial utilizado em palavra.
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
P1
C1,C2 – credibilidade, suporte
Tela 6 – Interface (A) –“Café cultural”
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário
P1
C1,C2 – credibilidade, suporte
Caractere especial utilizado em palavra.
Tela 7 – Interface (A) –“Avaliação do curso”
H1 – visibilidade e reconhecimento do estado, contexto atual e condução do usuário
P1
Caractere especial utilizado em palavra.
Fonte: Arquivo pessoal
A partir destas informações levantadas, criou-se um protótipo (interface “B”) com as
modificações necessárias para atender os critérios de usabilidade relacionados no quadro 2.
As figuras 4 a 6 apresentam as telas da interface B.
Figura 4: Tela de abertura – Interface B – Protótipo
Fonte: http://www.moodle.udesc.br
A imagem mostra o título do curso "A pessoa com deficiência física no contexto
escolar", agora em forma de título e com cor em contraste. Logo em seguida, configuram-se
as orientações de acessibilidade, sinalizando que o vídeo possui legendas e tradução para
LIBRAS, além de opção somente de áudio. Outro detalhe são as palavras-chave e as teclas de
atalho, servindo de orientação para navegação no espaço. Além disso, o mesmo texto está
disponível em versão de documentos para download, em versão DOC e PDF. Na figura 5
pode-se observar a continuação da tela de abertura (interface B).
Figura 4: Tela de abertura – Interface B – Protótipo
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
Fonte: http://www.moodle.udesc.br
Na figura 4, a imagem de abertura na interface B contém legenda descritiva da
imagem com o atributo ALT (legenda) o mesmo texto, além da descrição da imagem: "A
imagem mostra duas crianças, uma cadeirante no lado esquerdo e outra criança sem
deficiência à direita, brincando de bola na beira da praia, ao pôr do sol" e fonte da imagem.
Uma das mais importantes alterações na Interface B em relação à interface A diz
respeito ao vídeo de abertura, onde foram inseridas as legendas em português, tradução para
LIBRAS além da opção de audio. A figura 6 mostra a tela que continha o vídeo de abertura
do curso, agora inseridas as modificações
Figura 6: Protótipo do curso de extensão - tela 1
Fonte: http://www.moodle.udesc.br
Após o desenvolvimento da interface protótipo, realizou-se a fase 2 do experimento
com o grupo de voluntários, apresentando as duas interfaces em encontros virtuais, para
análise dos através da aplicação de questionários formulados com base nas métricas GOMS e
QUIS. Os resultados obtidos nos dois testes foram comparados.
Durante a aplicação do GOMS, foi medido o tempo de resposta das tarefas e a
quantidade de erros encontrados durante a avaliação.
A figura 7 apresenta o histograma de frequências do número de erros encontrados nas
tarefas do GOMS nas Interfaces A e B durante a aplicação do teste GOMS.
Gráfico 1: Histograma de frequências do número de erros encontrados nas
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
tarefas do GOMS nas Interfaces A e B
Fonte: arquivo pessoal
Na comparação dos resultados dos erros cometidos nas tarefas do GOMS entre as
interfaces A e B com nível de significância de 5%. Os resultados apresentaram diferenças no
grupo de deficientes auditivos (p= 0.500) e no grupo de designers (p=0.500).
Foi realizada também a comparação de erros entre grupos de indivíduos em ambas
interfaces interfaces e os resultados apresentaram diferenças significativas tanto na interface
A (p=0.042) quanto na interface B (p=0.053).
Fazendo também a comparação aos pares por grupos de indivíduos nas interfaces A e
B percebeu-se que houveram diferenças nos erros quando comparados os grupos de
deficientes visuais (p=0.007) com os designers (p=0.012) em ambas interfaces. Entre o grupo
DV e AL houve diferença somente na interface B (p=0.011). Já entre o grupo DA comparado
ao grupo DE houve diferença estatisticamente significativa somente na interface A (p=0.017).
Em relação à comparação das respostas da aplicação do QUIS, os gráficos também
sugerem benefícios da interface B em relação à interface A. O gráfico 2 apresenta os
resultados da satisfação global por grupo de usuários na comparação entre as interfaces A e B.
Gráfico 1: Histograma de frequências do número de erros encontrados
nas tarefas do GOMS nas Interfaces A e B
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
Fonte: arquivo pessoal
Realizando também a comparação da satisfação global entre as duas interfaces por
categorias de indivíduos os resultados apresentaram diferenças significativas no grupo DA
(p=0.500) e no grupo DE (p=0.020). Estes índices podem ser analisados pelo fato do grupo de
designers, por se tratarem de especialistas, terem oferecido sugestões de melhorias em ambas
interfaces.
A comparação aos pares dos grupos de indivíduos da satisfação nas interfaces A e B
indicaram diferenças significativas na satisfação entre os grupos em ambas interfaces. Na
interface A (p=0.009) e na interface B (p=0.009), encontrou-se diferença na satisfação entre
os deficientes auditivos e designers. Encontrou-se diferenças em ambas interfaces também
entre os designers e alunos do curso.
As modificações realizadas no protótipo referem-se somente à parte que é
modificável pelos professores e aos conteúdos que foram publicados, excluindo assim a
interface do MOODLE®, embora muitos indivíduos analisados encontraram problemas e
dificuldades de acesso neste ambiente de aprendizagem.
A observação dos dados levantou algumas discussões sobre a formação e informação
de professores para configuração de ambientes virtuais de aprendizagem, a inexperiência de
designers para desenvolvimento de interfaces gráficas com recursos de acessibilidade e a
ausência de recursos para a correta comunicação com indivíduos portadores de deficiência
auditiva.
As modificações realizadas no protótipo sugerem ferramentas simples e pequenos
ajustes que podem melhorar ou até mesmo proporcionar o acesso de pessoas que antes
encontravam dificuldades de interação com estes ambientes. Após a avaliação, muitos
usuários portadores de deficiência manifestaram interesse em participar de cursos à distância
que fossem desenvolvidos de acordo com o protótipo apresentado.
6º CONAHPA – João Pessoa – PB – 04 a 06 de setembro de 2013
4. Referências
AZEVEDO, Wilson. Por que aprendizagem colaborativa on-line? In: MAIA, Carmem; MATTAR, João. ABC da EAD. 1ª ed. –São Paulo: Pearson Prentice Hall, 2007. 18-19 p.
BATISTA, Márcia Luiza França da Silva; MENEZES, Marizilda dos Santos. O Design Gráfico e o Design Instrucional na Educação a Distância. Disponível em: < http://portal.anhembi.br/sbds/pdf/7.pdf > Acesso em: 26 fev.2013.
CYBIS, Walter Otto; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. 2. ed. rev. e ampl. São Paulo: Novatec, 2010. 422 p.
DIAS, Cláudia. Usabilidade na WEB: criando portais mais acessiveis. 2. ed. Rio de Janeiro: Alta Books, 2003. 296 p.
DUMAS, Joseph S.; LORING, Beth A. Moderating usability tests: principles and practice for interacting. Amsterdam: Elsevier, 2008. 185 p.
GOMS. Goals, Operators, Methods and Selections rules. Disponível em: < https://docs.google.com/spreadsheet/viewform?formkey=dG84R0FMZjNQby00ci1zbDN2amNvNUE6MA#gid=0 > Acesso em: 28 fev.2013
MORAN, José Manuel. Contribuições para uma pedagogia da educação online. In: SILVA, Marcos.(Org). Educação Online: teorias, práticas, legislação, formação corporativa. São Paulo: Loyola, pp. 39-50.
NIELSEN, J. Ten Usability Heuristics. 1994. Disponível em: < http://bit.ly/cE8j52 >
______. Projetando websites. Rio de Janeiro: Campus, c2000. 416 p.
QUIS. Questionnaire for user interface satisfaction. Disponível em: < https://docs.google.com/spreadsheet/viewform?formkey=dEJJOHcwQ3JrRmE2V1o3TExWZXRvVlE6MQ#gid=0 > Acesso em: 28 fev.2013
RUBIN, J. and CHISNELL, Dana, 2008. Handbook of Usability Testing. How to Plan, Design, and Conduct Effective Tests. ed. 2008. Indianápolis: Wiley Publishing, pp.386
SILVA, M. (Org.), 2003. Educação Online: teorias, práticas, legislação, formação corporativa. São Paulo: Loyola, pp. 514.
TULLIS, Tom; ALBERT, Bill. Measuring the user experience: collecting, analyzing, and presenting usability metrics. Boston, MA: Morgan Kaufmann, c2008. 317 p.