FRANCIELA NISSOLA
FRAMEWORK PARA APOIO A ELABORAÇÃO DE LISTAS DE
VERIFICAÇÃO PARA INSPEÇÃO DA USABILIDADE
Itajaí (SC), agosto de 2014
UNIVERSIDADE DO VALE DO ITAJAÍ
CURSO DE MESTRADO ACADÊMICO EM
COMPUTAÇÃO APLICADA
FRAMEWORK PARA APOIO A ELABORAÇÃO DE LISTAS DE
VERIFICAÇÃO PARA INSPEÇÃO DA USABILIDADE
por
Franciela Nissola
Dissertação apresentada como requisito parcial à
obtenção do grau de Mestre em Computação
Aplicada.
Orientadora: Fabiane Barreto Vavassori Benitti,
Dra.
Itajaí (SC), agosto de 2014
FOLHA DE APROVAÇÃO
Esta página é reservada para inclusão da folha de assinaturas, a ser disponibilizada pela
Secretaria do Curso para coleta da assinatura no ato da defesa.
Dedico este trabalho com carinho aos meus pais, Lourdes e Genir, pelo amor e apoio incondicional
que sempre me foi oferecido.
“A mente que se abre para uma nova ideia jamais voltará ao seu tamanho original”.
Albert Einstein
AGRADECIMENTOS
Em especial a Deus, nesta etapa importante da minha vida, pela realização deste meu sonho.
A minha orientadora, professora Fabiane Barreto Vavassori Benitti, pela orientação.
Aos meus pais, Lourdes e Genir, por nunca medirem esforços em apoiar meus estudos.
Ao Dhiego Tosatti, por ser fundamental na conclusão deste mestrado.
Ao meu colega Jefferson Seide Molléri, por toda a ajuda recebida durante o mestrado.
Aos colaboradores desta pesquisa pelas avaliações de usabilidade realizadas.
Aos amigos que fiz no mestrado e que guardo no meu coração: Jefferson, Ana, Gisele,
Douglas, Chaiene e André.
FRAMEWORK PARA APOIO A ELABORAÇÃO DE LISTAS DE
VERIFICAÇÃO PARA INSPEÇÃO DA USABILIDADE
Franciela Nissola
Agosto / 2014
Orientadora: Fabiane Barreto Vavassori Benitti, Dra.
Área de Concentração: Computação Aplicada
Linha de Pesquisa: Engenharia de Software
Palavras-chave: Usabilidade, Avaliação, Framework, Checklist.
Número de páginas: 185
RESUMO
A usabilidade de software é tratada como fator chave para o desenvolvimento de aplicações
bem sucedidas. Essa importância foi adquirida ao longo dos anos e pode ser evidenciada pela
grande diversidade de pesquisas encontradas na área. Nestas pesquisas, diversos modelos de
avaliação da usabilidade já foram propostos e uma série de atributos específicos para avaliação pode
ser encontrada nestes modelos. As pesquisas também apresentam modelos e atributos para
avaliação de ambientes de execução específicos. Entretanto, a avaliação da usabilidade ainda é uma
tarefa complexa nas empresas, tendo em vista que as pesquisas divergem nos atributos para
avaliação, gerando dificuldades no momento da seleção de quais atributos deve-se avaliar. Além
disso, muitas vezes estes atributos não vêm acompanhados de recomendações objetivas para
avaliação. Neste contexto, este projeto contribui com a área da usabilidade, fornecendo aos
envolvidos com a inspeção, um framework que apoie a seleção de atributos de inspeção da
usabilidade, fornecendo questões, recomendações e métricas que poderão auxiliar com a avaliação
de cada atributo, de acordo com o ambiente de execução. Para o desenvolvimento deste framework,
fez-se necessária especificação, planejamento e implementação de uma ferramenta computacional
que contemple o framework proposto, objetivando gerar maior facilidade e motivação de aplicação
de práticas de usabilidade em processos de desenvolvimento de software. A abordagem GQM (bem
como avaliação através de questionário) foi utilizada a fim de avaliar a contribuição obtida com a
adoção de um framework que apoie a elaboração de listas de verificação para a inspeção da
usabilidade via checklists, demonstrando incremento da facilidade e motivação nas avaliações de
usabilidade e apresentando-se adequado para ser utilizado em avaliações de usabilidade durante
processos de desenvolvimento de software.
FRAMEWORK TO SUPPORT THE ELABORATION OF
CHECKLISTS FOR INSPECTION OF USABILITY
Franciela Nissola
Agosto / 2014
Advisor: Fabiane Barreto Vavassori Benitti, Dra.
Area of Concentration: Applied Computer Science
Research Line: Software Engineering
Keywords: Usability, Evaluation, Framework, Checklist
Number of pages: 185
ABSTRACT
Software usability is seen as a key factor for the development of successful applications.
This importance has increased over the years, and can be seen in the wide range of studies in the
area. In these studies, models for assessing usability have been proposed, and a number of specific
attributes for evaluation can be found in them. The studies also present models and attributes for
assessing specific execution environments. However, assessment of usability is still a complex task
in businesses, given that the studies differ as to the attributes for evaluation, creating difficulties
when it comes to selecting which attributes to evaluate. Also, these attributes are often not
accompanied by recommendations for objective evaluation. In this context, this project seeks to
contribute to the field of usability, providing those involved with the evaluation with a framework
to support the selection of attributes for inspection usability, and offering questions,
recommendations and metrics that can assist in the evaluation of each attribute, according to the
execution environment. To develop this framework, the specification, design and implementation of
a computational tool that addresses the proposed framework are needed, aiming to improve the ease
of application and motivation of usability practices in software development processes. The GQM
approach (as well evaluations through questionnaires) was used to evaluate the contribution
obtained through the adoption of a framework that supports the development of checklists for
inspection usability, demonstrating increased ease and motivation in the assessments of usability,
and proving suitable for use in usability assessments during software development processes.
LISTA DE ILUSTRAÇÕES
Figura 1. Estrutura de lista de verificação de um método de avaliação (mede-pros) ........................ 48
Figura 2. Processo de seleção de estudos primários .......................................................................... 59 Figura 3. Técnicas de avaliação da usabilidade ................................................................................. 61 Figura 4. Quantidade de estudos avaliados por ano ........................................................................... 62 Figura 5. Atividades realizadas para geração de componentes .......................................................... 76 Figura 6. Fontes de informação para concepção do framework ........................................................ 78
Figura 7. Estrutura de relacionamento entre componentes do framework ........................................ 80 Figura 8. Validação da prática P1 – Seleção de Ambiente de execução. .......................................... 83 Figura 9. Validação da prática P2 - Características e Atributos. ....................................................... 84
Figura 10. Validação da prática P3 - Questão. ................................................................................... 85 Figura 11. Validação da prática P4 – Recomendações/Métricas. ...................................................... 86 Figura 12. Situação atual do framework proposto ............................................................................. 87 Figura 13. Adição de ambiente de execução ao framework proposto ............................................... 88
Figura 14. Adição de características e atributos ao framework proposto .......................................... 88 Figura 15. Identificação de estudos utilizados para teste de instanciação com o framework ............ 89 Figura 16. Informações geradas a partir das cinco instanciações do framework ............................... 91 Figura 17. Modelo de dados da ferramenta ........................................................................................ 98
Figura 18. Tela inicial – acesso administrador ................................................................................ 100 Figura 19. Cadastro de ambiente de execução ................................................................................. 102
Figura 20. Cadastro de características .............................................................................................. 102 Figura 21. Detalhes do cadastro de características .......................................................................... 103
Figura 22. Vinculação entre componentes ....................................................................................... 104 Figura 23. Lista de vínculos entre características e atributos .......................................................... 105
Figura 24. Lista de checklists ........................................................................................................... 106 Figura 25. Nova execução de checklist ............................................................................................ 107 Figura 26. Nova execução de checklist – definição de atributos ..................................................... 108
Figura 27. Execução de avaliação .................................................................................................... 109 Figura 28. Execução de avaliação – resultados................................................................................ 109 Figura 29. Avaliação subjetiva – distribuição de métricas .............................................................. 120
Figura 30. Checklists de usabilidade por papel do desenvolvimento de software ........................... 127 Figura 31. Cenário de questões respondidas .................................................................................... 137
Figura 32. Distribuição de respostas por questão ............................................................................ 139 Figura 33. Distribuição de respostas conforme objetivo .................................................................. 139
Quadro 1. Técnicas de avaliação da usabilidade ................................................................................ 41 Quadro 2. Requisitos Gerais .............................................................................................................. 93
Quadro 3. Requisitos para gestão de informação de componentes .................................................... 94 Quadro 4. Requisito para gestão de execuções .................................................................................. 95
Quadro 5. Requisitos não funcionais ................................................................................................. 96 Quadro 6. Objetivo 1 (G1) ............................................................................................................... 117 Quadro 7. Objetivo 2 (G2) ............................................................................................................... 117
Quadro 8. Objetivo 3 (G3) ............................................................................................................... 117 Quadro 9. Questões para avaliação do framework .......................................................................... 118 Quadro 10. Métricas para avaliação subjetiva do framework proposto ........................................... 119 Quadro 11. Atributos de avaliação do framework ........................................................................... 120
Quadro 12. Interpretação da avaliação da facilidade no framework* .............................................. 121 Quadro 13. Interpretação da avaliação da motivação no framework* ............................................. 121
Quadro 14. Interpretação da avaliação da adequação no framework* ............................................. 121 Quadro 15. Interpretação da avaliação subjetiva da abordagem ...................................................... 141 Quadro 16. Comentários realizados pelos participantes .................................................................. 142 Quadro 17. Aspectos comparativos entre soluções similares .......................................................... 149
LISTA DE TABELAS
Tabela 1. Atributos de usabilidade em diferentes modelos, padrões e definições ............................. 51
Tabela 2. Checklists de usabilidade encontrados na revisão ............................................................. 53 Tabela 3. Critério de inclusão e exclusão de estudos ......................................................................... 58 Tabela 4. Legenda para mapeamento de características e atributos .................................................. 65 Tabela 5. Características e atributos mapeados ................................................................................. 66 Tabela 6. Estudos primários selecionados por ambiente de execução ............................................... 77
Tabela 7. Quantidade de informações por componente ..................................................................... 90 Tabela 8. Resumo de apêndices relacionados a componentes de usabilidade ................................. 110 Tabela 9. Características de usabilidade .......................................................................................... 111
Tabela 10. Atributos de usabilidade ................................................................................................. 112 Tabela 11. Vinculação - Características X Atributos ....................................................................... 113 Tabela 12. Perfil de Participantes nas avaliações de usabilidade .................................................... 129 Tabela 13. Resumo de avaliações de usabilidade por disciplina e empresa .................................... 130
Tabela 14. Avaliação de usabilidade 01 ........................................................................................... 130 Tabela 15. Avaliação de usabilidade 02 ........................................................................................... 131 Tabela 16. Avaliação de usabilidade 03 ........................................................................................... 131 Tabela 17. Avaliação de usabilidade 04 ........................................................................................... 132
Tabela 18. Avaliação de usabilidade 05 ........................................................................................... 132 Tabela 19. Avaliação de usabilidade 06 ........................................................................................... 133
Tabela 20. Avaliação de usabilidade 07 ........................................................................................... 133 Tabela 21. Avaliação de usabilidade 08 ........................................................................................... 134
Tabela 22. Avaliação de usabilidade 09 ........................................................................................... 134 Tabela 23. Avaliação de usabilidade 10 ........................................................................................... 135
Tabela 24. Avaliação de usabilidade 11 ........................................................................................... 135 Tabela 25. Avaliação de usabilidade 12 ........................................................................................... 136 Tabela 26. Avaliação de usabilidade 13 ........................................................................................... 136
Tabela 27. Avaliação do framework proposto ................................................................................. 145
LISTA DE ABREVIATURAS E SIGLAS
ASSESPRO Associação das Empresas Brasileiras de Tecnologia da Informação,
Software e Internet
CENPRA Centro de Pesquisas Renato Archer
CNS Chamada Nacional SOFTEX
CTI Centro de Tecnologia da Informação Renato Archer
ERGOLIST Checklist de Avaliação da Usabilidade
FCM Factors, Criteria and Metrics
GE General Electric
GQM Goal, Question, Metric
IHC Interação Humano-Computador
ISO International Organization of Standardization
JSF Java Server Faces
MEDE-PROS Método de Avaliação da Qualidade de Produto de Software
MFMOD Framework de Métodos para o Desenvolvimento de Modelos de Capacidade
de Processo
MVC Model, View, Controller
PNAFAM Programa Nacional de Apoio a Gestão Administrativa e Fiscal dos
Municípios Brasileiros
QUIM Quality in Use Integrated Measurement
SBC Sociedade Brasileira de Computação
SQUARE Software Product Quality Requirements and Evaluation
SQL Structured Query Language
UFSC Universidade Federal de Santa Catarina
UNIVALI Universidade do Vale do Itajaí
SUMÁRIO
1 INTRODUÇÃO .................................................................................... 14
1.1 PROBLEMA DE PESQUISA........................................................................... 17
1.1.1 Solução Proposta ............................................................................................. 22
1.1.2 Delimitação de Escopo .................................................................................... 25
1.1.3 Justificativa ...................................................................................................... 26
1.2 OBJETIVOS ...................................................................................................... 28
1.2.1 Objetivo Geral ................................................................................................. 28
1.2.2 Objetivos Específicos ...................................................................................... 28
1.3 METODOLOGIA .............................................................................................. 29
1.3.1 Metodologia da Pesquisa ................................................................................ 29
1.3.2 Procedimentos Metodológicos ........................................................................ 32
1.4 ESTRUTURA DA DISSERTAÇÃO ................................................................ 34
2 FUNDAMENTAÇÃO TEÓRICA ...................................................... 36
2.1 A INTERAÇÃO HUMANO-COMPUTADOR E A USABILIDADE .......... 36
2.1.1 A Importância da Usabilidade ....................................................................... 37
2.1.2 Avaliação da Usabilidade ............................................................................... 38
2.1.3 Técnicas de Avaliação da Usabilidade .......................................................... 40
2.1.4 Normas, Métodos e Modelos Relativos à Usabilidade. ................................ 43
2.1.5 Decomposição da Usabilidade ........................................................................ 50
2.1.6 Trabalhos Relacionados – Checklists de Usabilidade ................................. 52
2.1.7 Limitações de Checklists de Usabilidade da Literatura .............................. 54
3 ESTADO DA ARTE ............................................................................ 56
3.1 MAPEAMENTO SISTEMÁTICO DA LITERATURA ............................... 57
3.1.1 Planejamento do Mapeamento Sistemático .................................................. 57
3.1.2 Condução e Extração ...................................................................................... 58
3.1.3 Resultados e Discussões .................................................................................. 62
3.2 CONSIDERAÇÕES .......................................................................................... 67
4 DESENVOLVIMENTO ...................................................................... 70
4.1 VISÃO GERAL DO FRAMEWORK PROPOSTO ...................................... 72
4.2 ESTRATÉGIA DE DESENVOLVIMENTO DO FRAMEWORK .............. 73
4.2.1 Conceituação de componentes do framework .............................................. 78
4.2.2 Procedimentos para geração do framework proposto ................................ 79
4.3 FRAMEWORK PROPOSTO .......................................................................... 82
4.4 INSTANCIAÇÃO DO FRAMEWORK PROPOSTO ................................... 87
4.5 FERRAMENTA DE APOIO ............................................................................ 92
4.6 ESPECIFICAÇÃO DA FERRAMENTA........................................................ 92
4.6.1 Requisitos Funcionais ..................................................................................... 92
4.6.2 Requisitos Não Funcionais ............................................................................. 96
4.6.3 Escopo Não Atendido Pelo Framework Proposto ........................................ 96
4.7 PROJETO DA FERRAMENTA ...................................................................... 97
4.7.1 Tecnologias Utilizadas no Framework Proposto ......................................... 99
4.8 DEMONSTRAÇÃO DA FERRAMENTA .................................................... 100
4.8.1 Etapa 1 – cadastro de componentes ............................................................ 101
4.8.2 Etapa 2 – vinculação de componentes ......................................................... 103
4.8.3 Etapa 3 – geração de checklist ..................................................................... 105
4.9 COMPONENTES DE USABILIDADE ENCONTRADOS ........................ 110
4.10 CONSIDERAÇÕES ........................................................................................ 114
5 AVALIAÇÃO ..................................................................................... 116
5.1 MODELO DE AVALIAÇÃO ......................................................................... 116
5.1.1 Planejamento da avaliação – método GQM ............................................... 117
5.1.2 Planejamento da avaliação – método GQM ............................................... 122
5.2 EXECUÇÃO .................................................................................................... 123
5.2.1 Iniciando o processo de avaliação ................................................................ 124
5.2.2 Perfil dos participantes ................................................................................. 127
5.2.3 Perfil de projetos/produtos de software avaliados ..................................... 129
5.2.4 Avaliações realizadas .................................................................................... 130
5.3 RESULTADOS ................................................................................................ 137
5.3.1 Método GQM ................................................................................................. 138
5.3.2 Avaliação de uso ............................................................................................ 141
5.4 SÍNTESE DOS RESULTADOS ..................................................................... 145
5.5 COMPARATIVO ENTRE SOLUÇÕES SIMILARES ............................... 149
5.6 CONSIDERAÇÕES ........................................................................................ 150
6 CONCLUSÕES .................................................................................. 152
6.1 PRINCIPAIS CONTRIBUIÇÕES ................................................................. 153
6.2 SUGESTÃO PARA TRABALHOS FUTUROS ........................................... 154
REFERÊNCIAS ..................................................................................... 156
APÊNDICE A – ESTUDOS PRIMÁRIOS DO MAPEAMENTO 167
APÊNDICE B – LISTA DE CARACTERÍSTICAS ....................... 171
APÊNDICE C – LISTA DE ATRIBUTOS ...................................... 172
APÊNDICE D – CARACTERÍSTICAS E ATRIBUTOS .............. 175
APÊNDICE E – AMBIENTE, CARACTERISTICA, ATRIBUTO E
QUESTÃO 180
APÊNDICE F – QUESTÃO E RECOMENDAÇÃO ..................... 181
APÊNDICE G – QUESTIONÁRIO DE AVALIAÇÃO DO
FRAMEWORK PROPOSTO ............................................................... 182
14
1 INTRODUÇÃO
A usabilidade é uma característica de um determinado produto relacionada à facilidade de
uso, rapidez de aprendizado, controle e gestão de erros, solucionando as tarefas que se propõe a
realizar, com eficiência, eficácia e principalmente oferecendo um alto grau de satisfação para seus
usuários (NIELSEN, 1993; ISO 9241, 2002).
Considerada um fator determinante de sucesso ou insucesso de qualquer produto de
software, a usabilidade permite gerar maior eficiência por parte dos usuários na realização de suas
tarefas, auxilia na redução dos custos com treinamento e permite que a inserção de sistemas de
software no ambiente de trabalho dos usuários seja realizada de forma mais positiva e menos
traumática (SILVA FILHO, 2008).
Devido a estes fatores acima citados e por tratar-se de um importante critério de aceitação
para aplicações interativas em geral, a usabilidade vem sendo tema de pesquisa por parte da
indústria de desenvolvimento de software que, ao longo dos anos, investiu e investe em técnicas e
ferramentas para projetos e avaliações que apoiem a melhoria deste atributo de qualidade
(MATTERA et al., 2006).
Desde o surgimento das primeiras pesquisas já se passaram mais de 20 anos e os aspectos de
usabilidade abordados pelos pesquisadores são os mais diversos, remetendo com isso a importância
que a usabilidade de software possui (HOLLINGSED; NOVICK, 2007). Dentre os vários aspectos
abordados nestas pesquisas, pode-se citar a preocupação com a avaliação da usabilidade. Cada vez
mais a literatura reconhece a usabilidade como um atributo de qualidade que deve ser verificado nos
softwares que estão em desenvolvimento ou mesmo naqueles que já se encontram em uso
(JURISTO; FERRE, 2006; LÁRUSDÓTTIR, 2009; HUMAYOUN, 2011).
Nas pesquisas que possuem como tema central a avaliação da usabilidade, é possível
encontrar diversos modelos de avaliação (SIGNORE, 2005; SEFFAH et al., 2006; WINTER;
WAGNER; DEISSENBOECK, 2008), cada qual com seu conjunto específico de atributos para
avaliar. Entretanto, estes modelos apresentam conjunto de atributos distintos para avaliação. É
possível encontrar nas pesquisas um mesmo atributo de usabilidade abordado em vários modelos ou
somente em algum modelo específico, ou ainda, é possível encontrar um mesmo atributo de
usabilidade com nomenclaturas diferenciadas, porém com o mesmo conceito, sendo abordado em
15
mais de um modelo. O Capítulo 3, denominado “Estado da arte”, apresenta um mapeamento
sistemático da literatura realizado pelo autor, com o objetivo de evidenciar este cenário.
Ainda, em relação a nomenclaturas diferenciadas, é possível observar nestas pesquisas a
utilização de diversos termos para classificar ou nomear os aspectos relacionados com a avaliação
da usabilidade. As pesquisas verificadas utilizam termos como: critério (BOEHM; BROWN;
LIPOW, 1976), atributo (NIELSEN, 1993), fator (FITZPATRICK, 2000) ou característica
(SPRIESTERSBACH; SPRINGER, 2004) para descrever as informações relacionadas com a
usabilidade. Nesta pesquisa, optou-se por manter os termos encontrados nas pesquisas quando
citadas, e a partir da estruturação do framework, optou-se por utilizar o termo atributo. Entretanto, é
importante destacar que todos estes termos citados acima são equivalentes para aspectos
relacionados à avaliação de usabilidade.
Um dos primeiros modelos de avaliação da usabilidade, o modelo de Eason, foi proposto em
1984 e caracterizou usabilidade em três seções: características de usuário, características do sistema
e reação do usuário. Mais tarde, Shackel (1991, apud MADAN, 2012) apontou quatro
características importantes da usabilidade: eficácia, capacidade de aprendizado, flexibilidade e
atitude. Também há o modelo de Nielsen (1993) que caracteriza a usabilidade baseando-se em
cinco atributos: capacidade de aprendizado, eficiência, memorização, erros e satisfação ou a ISO
9241-11 (2002) que utiliza eficácia, eficiência e satisfação para sua caracterização e a ISO 9126
(2003) que estabeleceu os seguintes atributos de usabilidade: compreensibilidade, aprensibilidade,
operacionalidade, atratividade e conformidade.
Mais recentemente, e a partir das normas ISO/IEC 9126 e ISO/IEC 14598, foi criada a
família de normas ISO/IEC 25000(2005), também chamada de projeto SQuaRE (Software Product
Quality Requirements and Evaluation). O objetivo desta família de normas é eliminar falhas,
ambiguidades e conflitos presentes nas normas a partir das quais foi criada, visando cobrir dois
processos principais: especificação de requisitos e avaliação da qualidade de software. A ampliação
de características da ISO 9126 em relação a ISO2500, para a usabilidade são: adição da sub-
característica de Proteção a erros do usuário, adição da sub característica de Acessibilidade e
mudança do nome Atratividade para Estética da Interface com o Usuário (ISO/IEC, 2011).
Verifica-se nas pesquisas encontradas na literatura, já citadas anteriormente, que a avaliação
da usabilidade obteve destaque e relevância ao longo dos anos. Atualmente, observa-se também que
16
estas pesquisas têm evoluído para um nível em que contextos específicos de software são
considerados para a avaliação. Um exemplo é a abordagem de avaliação proposta por Ferreira
(2007), na qual o contexto específico de uso são os dispositivos móveis. O mesmo ocorre para
ambiente web, em que a evolução das tecnologias e a migração de softwares para a web
contribuíram para o surgimento de métodos de avaliação específicos para este ambiente de
execução1 (FERNANDEZ; INSFRAN; ABRAHÃO, 2011).
As atividades ligadas à avaliação da usabilidade visam identificar os problemas de
usabilidade em interfaces humano-computador e contribuir para a sua eliminação. Esta identificação
de problemas de usabilidade pode ocorrer de três formas: através de técnicas prospectivas que
buscam a opinião do usuário em relação à interação com o sistema, através de técnicas objetivas ou
empíricas que buscam constatar problemas a partir da observação do usuário na forma com que este
interage com o sistema, e por fim, através de técnicas preditivas ou diagnósticas que buscam prever
erros de projeto de interfaces sem a necessidade da participação direta do usuário (CYBIS, 2003).
Técnicas prospectivas baseiam-se em aplicação de questionários e entrevistas com os
usuários. Técnicas objetivas ou empíricas, que também contam com a participação direta de
usuários, basicamente se referem a ensaios de interação ou sessões com sistemas espiões. Por fim,
técnicas preditivas ou diagnósticas dispensam a participação direta do usuário na avaliação e se
baseiam em verificações e inspeções de versões do software que são executadas por projetistas ou
especialistas em usabilidade. Para os tipos de avaliação que dispensam a participação do usuário,
tem-se: avaliações analíticas, avaliações heurísticas e inspeções por checklist (CYBIS, 2003).
Na utilização da técnica preditiva ou diagnóstica de inspeção por checklist as vistorias são
baseadas em listas de verificação através das quais profissionais não necessariamente especialistas
em ergonomia, como por exemplo: analistas e programadores, diagnosticam de forma rápida
problemas gerais e repetitivos encontrados nas interfaces (JEFFRIES et al. 1991). Assim para que
sejam alcançados resultados uniformes e abrangentes, os checklists devem ser bem elaborados, pois
nesta técnica de avaliação, diferentemente das avaliações heurísticas (nas quais a qualidade da
avaliação depende da experiência do avaliador), a qualidade dos checklists e não dos avaliadores é
1 No contexto deste trabalho, o termo ambiente de execução é referenciado como o local onde a aplicação será
executada, como por exemplo, em dispositivo móvel, desktop, web, etc.
17
determinante para a qualidade da avaliação, tendo em vista que os conhecimentos ergonômicos
devem estar presentes no próprio checklist (BARROS, 2003).
Assim, o cenário encontrado nas pesquisas existentes na área da usabilidade, sendo algumas
delas citadas neste projeto, apresenta atributos de avaliação da usabilidade distintos dependendo do
autor que os aborda e do ambiente específico de execução que a aplicação encontra-se. Os atributos
de avaliação dos ambientes de execução específicos também são distintos entre os autores e as
pesquisas verificadas. Além disso, podem ser utilizadas diversas técnicas de avaliação da
usabilidade para avaliar os diversos atributos propostos nos ambientes de execução específicos,
sendo que a técnica de inspeção por checklist tem o diferencial de poder ser empregada por
avaliadores não especialistas em ergonomia, facilitando assim sua aplicação a qualquer momento e
por vários papéis envolvidos com o processo de desenvolvimento de software.
Portanto, dentro do contexto abordado, este trabalho apresenta sua contribuição na área de
avaliação de usabilidade de software, visando contribuir com a elaboração de uma estrutura de
framework, de apoio na geração de listas de verificação para inspeção da usabilidade via checklist,
composto de características, atributos, questões, métricas e recomendações de usabilidade e
considerando diferentes ambientes de execução.
1.1 PROBLEMA DE PESQUISA
A usabilidade é uma das características da qualidade de software que cada vez mais ganha
relevância nos meios de pesquisa, tornando-se um dos fatores fundamentais para a avaliação da
qualidade (HOLLINGSED; NOVICK, 2007).
Já faz algum tempo que a usabilidade tem sido considerada em vários modelos de qualidade
de software, sendo que cada modelo conta com seu conjunto específico de atributos para a
avaliação. Nas pesquisas existentes na literatura acerca da usabilidade, podem-se encontrar vários
atributos de avaliação sendo apresentados por vários autores em diferentes modelos. Um exemplo, o
modelo de Boehm (BOEHM; BROWN; LIPOW, 1976) possui estrutura hierárquica constituída de
fatores de qualidade, decompostos em critérios de qualidade e por fim estes critérios são
decompostos em características mensuráveis. Este modelo possui um conjunto de características
mais amplo que o proposto por McCall (1977, apud SEFFAH, 2006) e incorpora 19 critérios de
qualidade que abrangem utilidade do produto, manutenção e portabilidade. Neste modelo ainda são
18
incluídas características de desempenho de hardware que estão ausentes no modelo de McCall
(1977, apud SEFFAH, 2006). Para este modelo, também não é especificado um ambiente de
execução próprio para a aplicação destes fatores, sendo utilizado para sistemas de software de
maneira geral (BOEHM; BROWN; LIPOW, 1976).
Outro exemplo, o modelo referenciado como GE (General Eletric) ou modelo FCM
(Factors, Criteria and Metrics), proposto por Jim McCall (1977, apud SEFFAH, 2006) é estruturado
em uma hierarquia de 11 fatores de qualidade, 25 critérios de qualidade e 41 métricas de qualidade
específicas. Este modelo apresenta estrutura hierárquica para a avaliação da usabilidade de uma
maneira geral para sistemas de software e não é considerado como fator relevante o ambiente de
execução do sistema que está sendo avaliado (SEFFAH et al., 2006).
Por fim, o modelo QUIM (Medição integrada da qualidade), baseado na ISO 9241-11,
fornece um repositório de fatores, critérios e métricas de usabilidade destinada a auxiliar na geração
de planos de medição de usabilidade. É composto de 10 fatores de usabilidade, sendo que cada fator
de QUIM é dividido em critérios de avaliação. O modelo QUIM não aborda um ambiente de
execução específico para utilizar os fatores para avaliação (SEFFAH et al., 2006).
Essa diferença em relação aos vários atributos de usabilidade sendo propostos por vários
autores, também fica evidente quando verificados os atributos de usabilidade aplicados em
ambientes de execução específicos. Para ambiente web, diversos modelos de avaliação de
usabilidade já foram propostos (FITZPATRICK, 2000; SIGNORE, 2005; ANDREATOS, 2006;
KHAN, 2008; WAH, 2011; NABIL;MOSAD; HENFNY, 2011). Dentre estes modelos já criados,
pode-se citar o modelo proposto por Fitzpatrick (2000) que propõe um conjunto de cinco fatores de
qualidade específicos para a web, apresentados como uma lista de facilitadores. De acordo com o
autor, utilizar fatores específicos de usabilidade de acordo com o ambiente de execução torna a
avaliação da qualidade de usabilidade mais condizente, tem-se maior garantia de investimentos e
ainda, os profissionais envolvidos na produção de software para este ambiente podem utilizar estes
fatores como ponto de direção para criação de sistemas que executam na web, com mais qualidade.
Os fatores de qualidade para o ambiente de execução web, propostos pelo autor são: visibilidade,
inteligibilidade, credibilidade, engajabilidade e diferenciação (FITZPATRICK, 2000).
Ainda para o ambiente de execução web, pode-se citar o modelo de Nabil, Mosad e Henfny
(2011), que determina os fatores que avaliam a qualidade de uma aplicação web, baseando-se em
19
visões de uso. As visões de uso propostas pelos autores são: desenvolvedor, visitante e proprietário.
Cada visão possui uma lista específica de fatores e subfatores.
Para os dispositivos móveis tem-se o mesmo cenário, com vários atributos de usabilidade
sendo apresentados por vários autores (SPRIESTERSBACH; SPRINGER, 2004; FERREIRA,
2007; SOUZA, 2007). A utilização de dispositivos móveis ganhou força nos últimos anos, devido
ao crescimento acelerado da internet e da produção tecnológica deste tipo de equipamento. Essa
situação fez com que dispositivos móveis venham se consolidando como ferramenta de trabalho e
apoio as tarefas dos usuários, favorecendo com isso o desenvolvimento contínuo deste tipo de
aplicação. Em consequência também cresce a preocupação da boa usabilidade para este tipo de
equipamento (SOUZA, 2007).
Um dos modelos citados anteriormente, o modelo de Spriestersbach e Springer (2004)
propõe uma lista de características para o ambiente de execução dos dispositivos móveis, esta lista
possui orientações especificas para desenvolvimento de um projeto voltado para os dispositivos
móveis. Estas características estão relacionadas a fatores de qualidade da norma ISO 9126, são elas:
usabilidade – saída (considerando o fator de formato), usabilidade – entrada (design do formulário),
usabilidade na navegação, limitações de rede, conexões wireless, mudanças de contexto, curtos
tempos de utilização e desenvolvimento de aplicativos para dispositivos heterogêneos
(SPRIESTERSBACH; SPRINGER, 2004).
Todas estas diferentes maneiras modelos de avaliação citadas, bem como os inúmeros
atributos de avaliação propostos nestes modelos, surgiram como forma de contribuição à evolução
da avaliação da usabilidade, proporcionando às organizações desenvolvedoras de software um
conjunto variado de atributos que podem ser aplicadas a tipos de projeto específicos (BAK et al.
2008). Embora fiquem evidenciadas através das pesquisas que a introdução de práticas de
usabilidade em projetos de software seja benéfica, tendo em vista o aumento substancial na
qualidade e redução de problemas de interação, muitas empresas ainda não aplicam tais práticas
durante o desenvolvimento de seus softwares ou mesmo em software que já se encontram em uso
(BONIFÁCIO et al. 2010).
Pesquisas mostram que a inclusão de práticas de usabilidade no desenvolvimento de
software não é algo trivial. Quando mencionado acréscimo de práticas as já existentes, sabe-se que
a preocupação maior das empresas encontra-se em não comprometer a produtividade. Acredita-se
20
também que as empresas aceitariam realizar tais integrações caso não houvesse adicional de custo
aos seus processos, houvesse melhoria na qualidade do produto e as integrações fossem simples
(NIELSEN, 2005).
Além disso, a dificuldade de aplicação de práticas de usabilidade em projetos de
desenvolvimento de software é agravada pela estrutura encontrada nas empresas, que por diversas
vezes, contam com um quadro profissional bastante heterogêneo do ponto de vista da experiência
(SILVA FILHO, 2008). Sem contar que a própria complexidade do tema gera dificuldade entre os
envolvidos (LALLEMAND, 2011) na escolha da técnica de avaliação a ser utilizada, tendo em vista
as várias técnicas existentes (PADILHA, 2004).
Dessa forma, devido a grande diversidade de atributos de avaliação da usabilidade propostos
através de inúmeros modelos de avaliação e da dificuldade da escolha da técnica que melhor se
adequa ao software que será avaliado, grande parte das iniciativas para a aplicação de práticas de
usabilidade em projetos de software é realizada por especialistas ou consultores em usabilidade,
realizando este tipo de avaliação muitas vezes de maneira esporádica e não necessariamente durante
o desenvolvimento do software (SCHAFFER, 2004).
Este cenário, muitas vezes gera um gap entre a contribuição dos especialistas em usabilidade
em relação à capacidade de absorção pelos envolvidos com o desenvolvimento de software em
relação ao conhecimento oferecido por estes profissionais. Assim, a aplicabilidade de práticas de
usabilidade pelos envolvidos com o desenvolvimento de software (analistas, programadores, etc.)
fica comprometida por existirem poucas estratégias que orientem as organizações a transformar o
conhecimento tácito em usabilidade em práticas rotineiras na organização (SCHAFFER, 2004).
Uma das técnicas de avaliação da usabilidade que pode ser utilizada no intuito de diminuir
este gap existente entre especialistas em ergonomia e envolvidos com o desenvolvimento de
software é a técnica da Inspeção via checklist. Neste tipo de técnica é a qualidade da ferramenta de
checklist que determina a qualidade e possibilidade de avaliação tendo em vista que o conhecimento
em usabilidade está embutido no próprio checklist utilizado (JEFFRIES et al. 1991).
Checklists possuem como objetivo garantir que uma determinada tarefa seja executada de
forma objetiva, eficiente e padronizada. Em relação à objetividade, o foco está em não desperdiçar
tempo com atividades que não contribuem diretamente com o que está sendo avaliado. Já em
21
relação à eficiência o foco está em garantir que todos os passos de um procedimento sejam
efetuados sem que o executor tenha que confiar em sua própria memória. Por fim, em relação à
padronização, o foco está em estabelecer como padrão, as melhores práticas e que estas sejam
realizadas por todos os envolvidos na criação do produto (SILVA FILHO, 2008).
A técnica de inspeção por checklist compreende basicamente uma lista de questões
formuladas a partir de regras, princípios e recomendações de usabilidade, que pode ser aplicada
como mecanismo de avaliação de usabilidade durante o projeto de interface por desenvolvedores e
analistas, bem como após o desenvolvimento de interfaces através da participação dos usuários no
processo de avaliação (WINCLER; PIMENTA, 2001). De acordo com Nielsen (1994), a inspeção
pode ser facilmente integrada com os mais variados esquemas de produção de software, sem ter que
modificar como os sistemas são desenvolvidos e gerenciados, de modo a obter grandes benefícios
de inspeção da usabilidade ao longo de todo o processo de desenvolvimento.
As inspeções por checklist não exigem equipamentos especiais e um único inspetor pode
encontrar vários defeitos de usabilidade em pouco tempo. Trata-se de métodos de avaliação
executados por especialistas em usabilidade ou mesmo profissionais do desenvolvimento de
software (TRIACCA; INVERSINI; BOLCHINI, 2005).
Profissionais envolvidos com o desenvolvimento de software (analistas, desenvolvedores)
que não são especialistas em usabilidade possuem dificuldades em estabelecer os atributos que
deverão ser avaliados de acordo com o software em questão, bem como através de qual técnica essa
avaliação deverá ocorrer. Sendo assim, quando executado por este tipo de profissional, os checklists
se mostram eficazes devido à pontualidade com que se apresentam quanto à verificação de
problemas de usabilidade. Entretanto, isso ainda não é suficiente para ajudar estes inspetores
novatos na execução deste tipo de atividade. Faz-se necessário proporcionar direcionamentos e
procedimentos a ser seguidos para que a inspeção seja executada com sucesso (BONIFÁCIO et al.
2010).
Inspetores novatos têm dificuldades em analisar regras ergonômicas durante a avaliação, por
isso, é necessário que os checklists utilizados sejam bastante claros e objetivos (WINCLER;
PIMENTA, 2001). Os inspetores precisam ser direcionados quando recebem listas de verificação
para inspeção da usabilidade, sendo necessário que as questões abordadas nestes checklists auxiliem
no encontro dos defeitos, em qualquer momento, durante o projeto de software. Assim, a inspeção
22
da usabilidade deve seguir um processo definido com uma sequencia de passos a ser executado para
a realização da avaliação (SANTOS; CONTE, 2011).
De acordo com Cybis (2007), é necessário fornecer aos inspetores novatos, que não possuem
elevados conhecimentos em usabilidade, listas de verificação bem elaboradas, que apresentam
questões objetivas e número suficiente de questões para avaliação. Ainda, quanto às questões, é
importante que estas sejam efetivamente aplicáveis ao sistema em avaliação.
Resumindo, checklists bem elaborados podem produzir resultados mais uniformes e
abrangentes no que diz respeito à identificação de problemas de usabilidade, pois os envolvidos
com a avaliação são conduzidos a avaliar a interface através de uma mesma lista de questões
(CYBIS, 2003).
Dessa forma, os resultados que são obtidos aplicando a técnica de inspeção por checklist
dependem mais da organização e do conteúdo presente nestas ferramentas (checklists) do que da
experiência dos inspetores propriamente dito. Faz-se necessário que os checklists sejam criados
evitando-se questões subjetivas que exijam do inspetor um nível de competência em usabilidade
que este não possui (CYBIS, 2003).
Baseando-se neste cenário abordado, as perguntas de pesquisa deste projeto são:
Um framework que apoie a elaboração de listas de verificação para a inspeção da
usabilidade via checklist pode facilitar e motivar a adoção de práticas de usabilidade em
projetos de software?
Um framework composto de diferentes características e atributos de usabilidade
encontrados na literatura, considerando ambientes de execução específicos, mostram-se
adequado para ser aplicado como prática de usabilidade em projetos de
desenvolvimento de software?
1.1.1 Solução Proposta
Devido à importância adquirida ao longo dos anos, a usabilidade é atualmente tratada como
fator chave para o desenvolvimento de aplicações bem sucedidas (MADAN; DUBEY, 2012). Essa
importância fez surgir diferentes modelos de avaliação da usabilidade (MADAN; DUBEY, 2012).
Estes modelos já se encontram tão evoluídos, que atributos de avaliação são propostos já
23
considerando o ambiente específico de execução (FITZPATRICK, 2000; SPRIESTERSBACH;
SPRINGER, 2004; QI et al., 2010; NABIL; MOSAD; HENFNY, 2011).
Assim, com o apoio deste cenário, constituído de inúmeras pesquisas já realizadas na área de
usabilidade, em especial as pesquisas com foco em ambiente de execução específico, um framework
que apoie na elaboração de listas de verificação para inspeção da usabilidade via checklist foi
desenvolvido. Este framework considera ambientes de execução específicos para avaliação.
De maneira geral, um framework pode ser definido como “uma estrutura real ou conceitual
destinada a servir como suporte ou guia para a construção de algo que expande a estrutura em algo
útil” (ROUSE, 2005). Já para Fontoura, Pree e Rumpe (2001), “framework é uma coleção de
diversos componentes independentes com cooperação pré-definida entre eles, com a finalidade de
realizar uma determinada tarefa”. E por fim, para Johnson & Foote (1998, apud FAYAD, 1999), um
framework é uma estrutura ainda não completa que pode ser especializada para produzir aplicações
personalizadas.
A construção e utilização de frameworks é cada vez mais comum e importante para a
engenharia de software (GAMMA et al., 1995; MATTSSON; BOSCH, 1997). A base da
construção de um framework deve ser a reusabilidade (FAYAD, SCHMIDT, JOHNSON, 1999).
Um framework deve ser facilmente adaptável, podendo ser reutilizado para a criação de novas
aplicações em contextos distintos, fornecendo assim solução para problemas similares (FAYAD;
SCHMIDT; JOHNSON, 1999; FLORES; AGUIAR, 2008). De acordo com Pinto (2000), as
maiores vantagens na utilização de frameworks encontram-se em fatores como a modularidade,
extensibilidade e reusabilidade de elementos, sendo possível pensar na reutilização em nível de
artefatos resultantes do processo de desenvolvimento, tais como: ideias, conceitos, requisitos e
projetos construídos (GIMENES; HUZITA, 2005).
A adoção do conceito de um framework para apoiar na elaboração de checklists de usabilidade,
considerando características e atributos para diferentes ambientes de execução oferecem vantagens
que vão além da reusabilidade. A utilização da estrutura de um framework oferece uma estrutura de
informação padronizada, facilitando posteriormente o acréscimo de informação em relação a
características, atributos ou mesmo ambientes de execução, sem que para isso seja necessário alterar
sua estrutura inicial. Além disso, a estrutura do framework irá orientar os inspetores através da
24
apresentação dos atributos de usabilidade de acordo com o ambiente de execução que a aplicação se
encontra.
Como o conceito de framework orienta para a reutilização, o framework de apoio à
elaboração de listas de verificação para inspeção da usabilidade via checklitst, proposto nesta
pesquisa, irá apresentar características e atributos de avaliação genéricos, ou seja, aplicáveis aos três
ambientes de execução abordados e posteriormente, para cada ambiente de execução, serão
apresentadas características e atributos específicos para um ambiente de execução.
O framework aqui proposto, apresentado como solução para as dificuldades de seleção de
atributos de usabilidade por inspetores novatos, conta com no mínimo dois tipos de usuários
distintos interagindo com a estrutura de informação. Usuários do tipo “Administrador” responsáveis
pela configuração necessária do ambiente de framework (quanto a acessos e usuários) e pelas
entradas e edições de dados (características, atributos, questões, métricas e recomendações)
necessárias para compor a estrutura do framework. Um segundo tipo de usuário, denominado
“Inspetor”, irá usufruir das listas de verificação geradas a partir da estrutura de informação do
framework.
Por fim, a viabilidade desta solução proposta também se encontra amparada na existência de
modelos consolidados de avaliação da usabilidade (SEFFAH et al., 2006; WINTER; WAGNER;
DEISSENBOECK, 2008) que serão utilizados para alimentação de dados para o framework
proposto. Um modelo consolidado auxilia no processo de avaliação de usabilidade, pois traz
consigo a incorporação de diferentes pontos de vista sobre a usabilidade de um determinado
ambiente (SEFFAH et al., 2006). Assim, os modelos consolidados existentes fornecem subsídios e
informações para a criação de um framework composto de características e atributos de usabilidade
propostos nas diferentes pesquisas.
Com base no contexto existente, as hipóteses de pesquisa são:
O framework de apoio à elaboração de listas de verificação para inspeção da usabilidade
via checklist contribui para o incremento da facilidade na adoção de práticas de
usabilidade em projetos de desenvolvimento de software;
25
O framework de apoio à elaboração de listas de verificação para inspeção da usabilidade
via checklist contribui para o incremento da motivação na adoção de práticas de
usabilidade em projetos de desenvolvimento de software;
A aplicação de um framework composto de características, atributos, questões, métricas
e recomendações, considerando ambientes de execução específicos, mostram-se
adequado para ser aplicado em projetos de desenvolvimento de software.
1.1.2 Delimitação de Escopo
Este trabalho apresenta um framework para apoiar na elaboração de listas de verificação
para inspeção da usabilidade, constituído de características, atributos, questões, métricas e
recomendações que consideram o ambiente de execução específico para apresentação da
informação. O framework considera os seguintes ambientes de execução: desktop, web e
dispositivos móveis. Descarta-se do escopo desta pesquisa, bem como deste framework, ambientes
de execução diferentes dos citados, tais como TV Digital. Os ambientes de execução citados nesta
pesquisa serão abordados de forma generalizada, não especificando o tipo de equipamento em cada
ambiente de execução abordado.
O framework apresenta características, atributos, questões, métricas e recomendações com
base na literatura existente. O framework não sugeriu novas métricas de avaliação, além das que
foram explicitamente encontradas a partir da metodologia definida neste projeto, ou seja, se
métricas de avaliação da usabilidade foram encontradas nos estudos considerados, então foram
anexadas ao framework (caso não fossem encontradas métricas de avaliação, o projeto não as
propôs).
Pesquisas mostram que a inclusão de práticas de usabilidade em processos de
desenvolvimento de software não é algo trivial (NIELSEN, 2005). Portanto, devido à delimitação
de escopo desta pesquisa, não estão inclusos aspectos relacionados à adequação deste framework
em processos de desenvolvimento de software para inserção de práticas relacionadas à inspeção da
usabilidade. Também não faz parte do escopo desta pesquisa a indicação do momento mais
adequado para a aplicação de práticas de usabilidade durante o processo de desenvolvimento de
software.
26
Ainda, em relação à execução da inspeção da usabilidade, o framework proposto apresenta
as questões relacionadas com a avaliação de usabilidade para cada atributo, sendo que o inspetor
terá as opções: “Sim”, “Não”, “Não Aplicável” e “Avaliação Prejudicada” como alternativas de
resposta para as questões do checklist. Um campo de “Observações” foi fornecido para o caso de o
inspetor desejar registrar alguma questão para o atributo específico que está sendo avaliado,
deixando como trabalho futuro o respectivo tratamento/análise destas observações da execução.
Não foram adicionados pesos para as respostas das questões do checklist, bem como não foram
gerados resultados quantitativos acerca das respostas inseridas nestas execuções.
1.1.3 Justificativa
A relevância da solução proposta encontra-se em fornecer aos interessados e envolvidos
(gerentes de projeto, analistas, desenvolvedores, testadores, clientes) com a inspeção da usabilidade
de software, um framework que apoie a seleção de atributos e a respectiva geração de listas de
verificação para avaliação destes atributos, considerando o ambiente de execução específico que a
aplicação se encontra. Trata-se de uma proposta de relevância tendo em vista que a atividade de
definição dos atributos de avaliação, bem como a forma de avaliação destes atributos, aplicados no
processo de desenvolvimento de software é uma tarefa complexa nas empresas (SAURO;
KINDLUND, 2005).
Existem diversos modelos de avaliação da usabilidade sendo propostos por diferentes
autores que possuem atributos de avaliação distintos entre si. A mesma situação ocorre quando
verificados ambientes de execução específicos, em que também se tem diversos atributos de
avaliação sendo sugeridos por diversos autores (SOUZA, 2007; MADAN; DUBEY, 2012). Com
isso, os envolvidos com a avaliação da usabilidade enfrentam dificuldades no momento da escolha
dos atributos corretos a aplicar em suas avaliações, pois muitas vezes não possuem conhecimento
de especialistas em usabilidade para realizar tais escolhas (HORNBAEK; LAW, 2007).
Com base nas pesquisas (métodos, modelos e checklists) encontradas na literatura, algumas
citadas na Seção 1.1, torna-se possível observar determinada falta de estruturação mais completa de
informações acerca da avaliação de atributos de usabilidade propostos por estas pesquisas. Na
literatura relacionada com a usabilidade, é possível encontrar pesquisas que apresentam
características e atributos de avaliação de usabilidade, entretanto, não indicam ao leitor a forma
como estes atributos devem ser avaliados, ou seja, não apresentam questões para a respectiva
27
avaliação. Também é possível encontrar pesquisas que apresentam atributos de avaliação e não
indicam para qual ambiente de execução se aplicam ou mesmo, não indicam métricas ou
recomendações para uma melhor avaliação do atributo proposto. Por vezes, em algumas pesquisas,
faz-se necessário uma expertise do leitor em relação à avaliação da usabilidade ou mesmo estas
pesquisas não indicam que determinado atributo somente se aplica a um determinado recurso de
software específico.
Sendo assim, no intuito de facilitar o trabalho dos envolvidos com a avaliação da usabilidade
e que não possuem conhecimento de especialista, este trabalho foca a técnica de inspeção via
checklist tendo em vista que neste tipo de técnica é a qualidade dos checklists que determina a
qualidade da avaliação. Checklists bem elaborados devem produzir resultados mais uniformes e
abrangentes em relação à identificação de problemas de usabilidade, pois os inspetores (que
poderão ser qualquer um dos papéis envolvidos com o processo de desenvolvimento de software)
serão conduzidos no exame da interface através de uma mesma lista de questões a responder
referente à usabilidade do projeto/produto avaliado (CYBIS, 2003).
Outra questão a ser destacada, é que como as inspeções via checklists não exigem
especialistas em interfaces humano-computador, os custos com a avaliação são reduzidos
(JEFFRIES et al. 1991). Sua sistematização garante resultados mais estáveis mesmo quando
aplicada separadamente por diferentes avaliadores, isso porque as questões/recomendações
constantes no checklist sempre serão efetivamente verificadas. Como consequência disso, ocorre
uma facilidade na identificação de problemas de usabilidade tendo em vista a especificidade das
questões do checklist e a redução da subjetividade normalmente associada aos processos de
avaliação (CYBIS, 2000).
Dessa forma, a solução proposta é viável por dois principais motivos: primeiro a existência
de muitas pesquisas na área da usabilidade, fornecendo, portanto, várias características, atributos e
listas de verificação para a avaliação, sendo que as pesquisas existentes também fornecem atributos
de avaliação para ambientes de execução específicos. O segundo motivo que viabiliza esta solução
proposta é a possibilidade de utilização do framework entre todos os envolvidos com o processo de
desenvolvimento de software. Assim, a solução proposta avaliou pesquisas existentes e desenvolveu
um framework consolidando os diversos aspectos citados na literatura para apoiar na elaboração de
listas de verificação utilizadas nas inspeções de usabilidade por checklist.
28
O diferencial da solução proposta encontra-se em fornecer um framework que apoie a
elaboração de listas de verificação, a partir da seleção de atributos, para inspeção da usabilidade,
utilizando checklists e considerando ambientes de execução específicos, com o intuito de contribuir
para o incremento da facilidade e da motivação da adoção de práticas de usabilidade para projetos
de software, bem como avaliar se o framework proposto se mostra adequado para ser aplicado em
projetos de software.
Este framework conta com estruturação otimizada, fornecendo aos usuários envolvidos com
a avaliação, uma estruturação de informações que facilite a respectiva avaliação de atributos de
usabilidade, apresentado para isso questões, métricas e recomendações associados aos atributos para
que estes componentes sirvam de apoio à realização de avaliações de usabilidade. As pesquisas
realizadas por este estudo mostram que atualmente não há na literatura um framework de avaliação
que considere ambiente de execução específico e apresente uma estruturação de informações mais
completa, composta de características, atributos, questões, métricas e recomendações em um
mesmo modelo/framework, gerando motivação por parte do pesquisador em contribuir para o
processo de inspeção da usabilidade.
1.2 OBJETIVOS
Esta seção formaliza os objetivos do trabalho, conforme descrito a seguir.
1.2.1 Objetivo Geral
Desenvolver um framework de apoio à geração de listas de verificação para inspeção da
usabilidade considerando ambientes de execução específicos.
1.2.2 Objetivos Específicos
1. Identificar características e atributos atualmente considerados relevantes para a
usabilidade de sistemas, considerando os seguintes ambientes específicos de execução:
desktop, web e dispositivos móveis;
29
2. Oferecer uma estrutura de framework constituída de características, atributos, questões,
métricas e recomendações para utilização na geração de listas de verificação para
inspeções de usabilidade via checklist;
3. Desenvolver uma ferramenta para inserção dos dados que compõem a estrutura de
informação do framework, bem como fornecer nesta ferramenta funcionalidades
específicas para a geração de listas de verificação para inspeção da usabilidade de acordo
com configurações de características, atributos e ambiente de execução indicados pelo
inspetor;
4. Com o apoio da ferramenta desenvolvida, avaliar o framework proposto em projetos e
produtos de software que atuem nos ambientes de execução contemplados por esta
pesquisa.
1.3 METODOLOGIA
Quando verificada a literatura existente para orientação de pesquisas cientificas é possível
encontrar diversas maneiras de classificar uma pesquisa (SILVA; MENEZES, 2001; GIL, 2002).
Nestas classificações, os autores procuram apresentar a relação entre o problema de pesquisa e o
tipo de pesquisa sendo realizada. Assim, objetivando esclarecer os métodos de pesquisa utilizados
no desenvolvimento deste projeto, e enquadrar o trabalho proposto nas formas de classificação de
pesquisa existentes, este tópico inicia com a apresentação da metodologia da pesquisa utilizada e
posteriormente aborda os procedimentos metodológicos utilizados, contendo o plano de trabalho
para este projeto de pesquisa.
1.3.1 Metodologia da Pesquisa
Para que os objetivos de uma investigação científica sejam atingidos, faz-se necessário um
“conjunto de procedimentos intelectuais e técnicos” (GIL, 1999) denominados métodos científicos.
Um método científico é o conjunto de processos ou operações mentais que devem ser empregados,
ou seja, uma linha de raciocínio adotada no processo de investigação (LAKATOS; MARCONI,
1991; GIL, 1999).
A elaboração de um projeto de pesquisa e o desenvolvimento da própria pesquisa científica
deve estar embasada em planejamento cuidadoso, reflexões conceituais sólidas e conhecimentos já
30
existentes para que os resultados sejam satisfatórios e, portanto, o uso de um método científico faz-
se necessário (SILVA; MENEZES, 2001). Este projeto propõe a construção de um framework que
apoie na elaboração de listas de verificação para inspeções de usabilidade através de checklists.
Posterior à construção, será avaliado a facilidade, motivação e adequação da aplicação do
framework em projetos/produtos de software.
Na condução e avaliação desta pesquisa, dois métodos serão adotados: método indutivo e
método dedutivo. Para a construção do framework, o método indutivo foi adotado. Este método foi
proposto pelos empiristas: Bacon, Hobbes, Locke e Hume e considera que o conhecimento é
fundamentado na experiência, não levando em conta princípios preestabelecidos. No raciocínio
indutivo, a generalização é derivada de observações de casos da realidade concreta, sendo que as
constatações particulares levam a elaboração de generalizações (LAKATOS; MARCONI, 1991;
GIL, 1999).
Com base nessas características do método indutivo, pode-se estabelecer uma relação com o
problema proposto neste projeto, no qual se tem inúmeras características e atributos de usabilidade
por ambiente de execução propostos por diversos autores. Nestas várias listas de características e
atributos de avaliação da usabilidade, muitas vezes encontra-se uma mesma característica ou
atributo de avaliação da usabilidade sendo abordado em diferentes ambientes de execução.
Com base nisso e com o apoio de um framework pretende-se generalizar características e
atributos comuns aos ambientes de execução avaliados e especializar características e atributos que
fazem parte apenas de um ambiente de execução específico, bem como avaliar o framework
proposto. Para esta vinculação de características e atributos e para a avaliação do framework
proposto, o método dedutivo será utilizado.
O método dedutivo parte de uma informação mais geral descendo para uma informação mais
particular e parte de princípios reconhecidos como verdadeiros e indiscutíveis, possibilitando chegar
a conclusões de maneira puramente formal, em virtude de sua lógica. Trata-se do método proposto
pelos racionalistas (Descartes, Spinoza, Leibniz), segundo os quais somente a razão possibilita o
encontro com o conhecimento verdadeiro, que por sua vez, decorre de princípios a priori evidentes
e irrecusáveis. O protótipo do raciocínio dedutivo é o silogismo, que consiste numa construção
lógica que, a partir de duas preposições chamadas premissas, retiram uma terceira, logicamente
implicadas, denominada conclusão (LAKATOS; MARCONI, 1991; GIL, 1999).
31
Com base nestes métodos, a proposta de pesquisa descrita neste projeto partiu de um cenário
em que os modelos consolidados de avaliação da usabilidade até então propostos, não apresentam
especificações e ou restrições para utilização em ambiente de execução específico e podem ser
avaliados através de diversas técnicas de avaliação da usabilidade, gerando dificuldades entre os
envolvidos na avaliação, quanto escolha das características e atributos de acordo com o ambiente de
execução, bem como quanto a escolha da técnica de avaliação a ser utilizada.
Com base neste cenário, as hipóteses pretendem avaliar se um framework que apoie a
elaboração de listas de verificação para a avaliação da usabilidade através de inspeções via checklist
irá facilitar e motivar a adoção de práticas de usabilidade em um projeto de software, bem como
avaliar se o framework proposto é realmente adequado para ser aplicado como prática de
usabilidade em projetos/produtos de software.
Sob o ponto de vista de sua natureza, este trabalho caracteriza-se como pesquisa aplicada.
De acordo com Barros e Lehfeld (2000, apud VILAÇA, 2010), a pesquisa aplicada tem como
objetivo gerar conhecimento para aplicação de seus resultados, contribuindo, portanto, para fins
práticos, visando à solução mais ou menos imediata para o problema encontrado na realidade. Desta
forma esta pesquisa pretende contribuir de forma prática com os envolvidos com a avaliação da
usabilidade durante projetos de software.
Sob o ponto de vista da forma de abordagem do problema, foi utilizada a pesquisa
qualitativa. Este tipo de pesquisa consiste em trabalhos onde a interpretação dos fenômenos e a
atribuição de resultados é à base do processo de pesquisa. Assim sendo, não devem ser traduzidos
em números e não requerem o uso de métodos e técnicas estatísticas (SILVA; MENEZES, 2001).
De acordo com Godoy (1995) a pesquisa qualitativa inicia em questões de interesse mais amplo, os
quais vão se definindo na medida em que o estudo se desenvolve.
Este trabalho possui características da abordagem qualitativa tendo em vista que não requer
o uso de métodos e técnicas estatísticas, ou de qualquer modelo analítico onde a interpretação dos
fenômenos e a atribuição de significados fazem parte do processo de pesquisa. O framework para a
avaliação da usabilidade considerando o ambiente de execução é a fonte direta para a coleta de
dados, sendo o pesquisador, o instrumento-chave.
32
De acordo com o problema já abordado (Seção 1.1), a avaliação do framework proposto
ocorreu através do método GQM (Goal, Question, Metric) proposto por Basili, Caldeira e Rombach
(1994) e aplicação de questionário. A avaliação qualitativa guiada pelo método GQM consiste na
definição de objetivos, a partir das quais são extraídas questões de pesquisa associadas a métricas
com o intuito de obter um resultado mensurável. As avaliações foram aplicadas em empresas que
desenvolvem projetos de software na cidade de Blumenau (Santa Catarina).
Por fim, sob o ponto de vista de seus objetivos, essa pesquisa é considerada exploratória. A
pesquisa exploratória proporciona maior familiaridade com o problema objetivando torna-lo
explícito ou a construir hipóteses. Em sua maioria, este tipo de pesquisa envolve levantamento
bibliográfico e documental, entrevistas e estudos de caso e são desenvolvidas no intuito de
proporcionar visão geral acerca de um assunto. Este tipo de pesquisa é realizado costumeiramente
quando o tema escolhido é pouco explorado. Muitas vezes, pesquisas exploratórias possuem como
primeira etapa uma investigação mais ampla. Se o tema escolhido é bastante genérico é necessária
uma revisão de literatura para seu esclarecimento, sendo que o produto final passa a ser um
problema mais esclarecido (GIL, 2002).
Assim, a pesquisa aqui proposta é considerada exploratória, pois são definidas hipóteses
através das quais se busca soluções para o problema de pesquisa. A solução tem como base um
estudo bibliográfico a fim de explorar o tema como um todo e avaliar o que realmente já existe de
pesquisas em relação a modelos, características e atributos de usabilidade. Ainda, dentro dos
objetivos exploratórios está contemplado um mapeamento sistemático da literatura, com o objetivo
de compreender o estado da arte no que se refere a modelos de avaliação da usabilidade e servir de
base para a elaboração do framework.
1.3.2 Procedimentos Metodológicos
A seguir tem-se o plano de trabalho contendo as etapas realizadas para o desenvolvimento
da pesquisa proposta.
Etapa 1. Revisão bibliográfica: esta etapa forneceu base científica para o
desenvolvimento do projeto e entendimento do tema. Visando dar suporte ao
objetivo específico um, compreendeu a execução das seguintes atividades:
33
a) Pesquisa bibliográfica: busca com seleção e leitura de artigos em bases de
dados e livros, referente aos seguintes assuntos: usabilidade, normas de
usabilidade, modelos de usabilidade já propostos e atributos de usabilidade
propostos nos modelos existentes na literatura;
Etapa 2. Mapeamento sistemático: com o objetivo de identificar e analisar
características e atributos de avaliação da usabilidade foi realizado um mapeamento
sistemático da literatura almejando uma visão do estado da arte do tema. Essa etapa
atendeu o objetivo específico um e compreendeu a execução das seguintes
atividades:
a) Planejar o mapeamento sistemático: desenvolvimento do protocolo de busca,
especificação de objetivos e questões de pesquisa, critérios para inclusão e
exclusão dos estudos encontrados;
b) Executar o mapeamento sistemático: identificação, seleção e avaliação de
estudos primários juntamente com a extração dos dados dos estudos
encontrados;
c) Análise do resultado: normalização dos dados encontrados, realização de
síntese e descrição de evidências.
Etapa 3. Proposta de um framework: esta etapa atendeu o objetivo específico 2 e ao
objetivo específico 3 e compreendeu a execução das seguintes atividades:
a) Estruturação do framework: com base no resultado da fundamentação teórica
apresentada e do mapeamento sistemático, estruturar o framework de forma a
representar cada ambiente de execução que se encontra no escopo desta
proposta;
b) Desenvolvimento de solução de suporte ao framework: programar uma
aplicação que auxilie os envolvidos com a da usabilidade durante projetos de
software, na seleção dos atributos que serão inspecionados, por conseguinte
gerando uma lista de verificação para cada um dos atributos selecionados,
apoiando na inspeção da usabilidade via checklist.
34
c) Testar a solução: realizar um piloto para geração de uma lista de atributos de
avaliação de usabilidade com o apoio da aplicação.
Etapa 4. Avaliação do framework proposto: esta etapa atende o objetivo específico 4 e
compreende a execução das seguintes atividades:
a) Planejar avaliação do framework proposto: realizar o planejamento da
avaliação do framework proposto considerando a avaliação através de dois
métodos: avaliação com questionário e GQM (Goal-Question-Metric);
b) Avaliação do framework proposto: realizar a avaliação do framework
proposto através de aplicação de questionário e através do método GQM. A
motivação e a facilidade de aplicação do framework proposto em processos
de desenvolvimento de software serão avaliadas através do método GQM. A
adequação do framework proposto em processos de desenvolvimento de
software tem sua avaliação baseada em aplicação de questionário e também
através do método GQM;
c) Análise dos resultados: sumarizar e descrever os resultados da aplicação do
framework durante projetos de desenvolvimento de software.
1.4 ESTRUTURA DA DISSERTAÇÃO
Este trabalho é composto de cinco capítulos. O Capítulo 1, Introdução, apresenta e
contextualiza o tema abordado neste trabalho, detalhando a problematização e escopo, bem como
apresentando a solução proposta, os objetivos específicos a serem alcançadas, limitações do
trabalho e por fim a metodologia de pesquisa e desenvolvimento.
O Capítulo 2 apresenta a Fundamentação Teórica, abordando assuntos relacionados com a
interação humano-computador e a ligação desta com a usabilidade. Conceitos, importância, normas
e um conjunto de atributos relacionados com a avaliação usabilidade, encontrado nas diversas
pesquisas, são apresentados com o objetivo de facilitar o entendimento do contexto deste trabalho.
O Capítulo 3 apresenta o Estado da Arte sobre atributos de usabilidade considerados nas
pesquisas para avaliações de interfaces. A sumarização de informações acerca de atributos de
35
usabilidade, técnicas utilizadas para a avaliação e modelos de avaliação abordados nas pesquisas
são apresentados. Um mapeamento dos atributos encontrados nestas pesquisas é realizado a fim de
estabelecer um conjunto inicial de características e atributos a ser utilizado para a composição do
framework proposto.
O Capítulo 4 apresenta o Desenvolvimento, identifica as necessidades de mecanização do
processo de seleção de atributos de avaliação da usabilidade para diferentes ambientes de execução
e propõe uma ferramenta de apoio concebida sob o conceito de um framework que facilite e
contribua com a avaliação da usabilidade realizada por envolvidos com projetos de
desenvolvimento de software e que não possuem conhecimentos relacionados à usabilidade. São
listados ainda os requisitos funcionais e não funcionais da ferramenta para que possa ser
implementado o framework proposto.
O Capítulo 5 apresenta a Avaliação, descreve o procedimento adotado na elaboração de uma
avaliação fundamentada nos aspectos de motivação, facilidade e adequação em relação ao
framework proposto. São detalhadas ainda as hipóteses, métricas e resultados esperados com a
avaliação.
Por fim, o Capítulo 6, Conclusão, apresenta uma síntese do trabalho desenvolvido, relaciona
os objetivos identificados incialmente com os resultados obtidos até o momento e aborda
perspectivas para trabalhos futuros.
36
2 FUNDAMENTAÇÃO TEÓRICA
Este capítulo apresenta a fundamentação teórica do trabalho. Na fundamentação teórica são
abordados assuntos relacionados à interação humano-computador e sua respectiva ligação com a
usabilidade. A importância da usabilidade é destacada e alguns conceitos relacionados à usabilidade
são fornecidos para facilitar o entendimento do contexto deste trabalho. Por fim, algumas das
normas relacionadas com a usabilidade são apresentadas e uma decomposição de atributos de
usabilidade abordados por alguns autores é apresentada.
2.1 A INTERAÇÃO HUMANO-COMPUTADOR E A USABILIDADE
Para apoiar a construção de interfaces adequadas, tanto para sistemas computacionais quanto
produtos, em meados de 1980, um termo denominado ergonomização da Interação Humano-
Computador (IHC) surgiu. A IHC é uma maneira de descrever um campo de estudo focado na
relação entre computadores e seres humanos abordando principalmente as dificuldades e limitações
dos usuários (MEMÓRIA, 2004).
Esta relação entre os computadores e os seres humanos é intermediada pela interface das
aplicações. A interface envolve todos os aspectos de um sistema com o qual o usuário mantém
contato e interage (MORAN, 1981). Segundo Pressman (2001), uma interface de usuário apropriada
proporciona uma comunicação adequada entre usuário e sistema, sendo um modo potencial de
evitar que tal interface seja rejeitada pelo usuário.
Com o intuito de criar interfaces mais amigáveis, a IHC fornece aos pesquisadores e aos
desenvolvedores de sistemas, explicações e previsões para fenômenos de interação e resultados
práticos para o design de interfaces (HEWETT, 1992). Essa interação que ocorre entre o ser
humano e o sistema computacional pode ser apresentada através de vários formatos: elementos
visuais de telas, componentes físicos, comandos visuais e voz, gestos, sensores capazes de captar
informações sobre o contexto, entre outros (IPIÑA; MENDONÇA; HOPPER, 2002).
A IHC é uma área multidisciplinar que envolve as áreas de Ciências da Computação,
Psicologia, Fatores Humanos, Linguística, entre outras. Refere-se a uma disciplina que não se
dedica apenas ao estudo de computação ou do ser humano, mas de uma disciplina que sintetiza a
comunicação entre estas duas entidades (SILVA FILHO, 2003).
37
Dentro deste contexto de Ergonomização de Interação encontra-se a usabilidade de
interfaces, que pode ser compreendida como a capacidade de um sistema de ser utilizado com
facilidade e eficiência pelo usuário (SANTOS, 2006). Muitas pesquisas relacionadas com a
usabilidade já foram realizadas e os aspectos de usabilidade levantados nestas pesquisas são os mais
diversos, destacando assim a importância que a usabilidade de software apresenta (HOLLINGSED;
NOVICK, 2007).
2.1.1 A Importância da Usabilidade
As necessidades de melhoria de interfaces vão além da facilidade de uso. De acordo com
Moraes (2002) faz-se necessário minimizar o tempo que os usuários gastam com a aprendizagem,
minimizar também a irritação destes quando não capazes de navegar nos programas, reduzir a
subutilização dos recursos disponíveis e a possibilidade de erros na operação aumentando assim o
rendimento do trabalho.
Experiências negativas geram aborrecimentos e frustrações para os usuários, fazendo com
que este se sinta diminuído, trazendo para si a culpa de não conseguir realizar tarefas que,
hipoteticamente, outros usuários conseguem. Interfaces de uso frequente e profissional podem levar
usuários à ansiedade e ao estresse devido a sequencia de experiências negativas e a pressão de
utilização (CYBIS, 2003).
Segundo Cybis (2003), o desenvolvimento de sistemas com boa usabilidade pode criar
impacto positivo nas tarefas do usuário. Este impacto está relacionado com a eficiência, eficácia e
produtividade, proporcionando ao usuário menos esforço e mais satisfação na execução de suas
tarefas. Uma interface difícil de ser utilizada gera o aumento da carga de trabalho do usuário e traz
consigo consequências negativas que podem ir desde a resistência ao uso, passando pela
subutilização do sistema e em algumas vezes gerar o abandono do sistema. Os prejuízos de
subutilização ou abandono podem ser bastante elevados dependendo da escala em que o software é
empregado.
De acordo com Nielsen (1993), a usabilidade pode retornar o investimento à empresa ao
transmitir a ideia de qualidade, evitar prejuízos para os clientes por evitar custos de manutenção ou
melhoria nos produtos. Interfaces adaptáveis irão permitir a diferentes usuários, em diferentes
ambientes físicos, tecnológicos e organizacionais o alcance de objetivos com mais facilidade.
38
Para Johnson (2001, p.20):
...nosso único acesso a esse universo paralelo de zeros e uns se dá através do conduto da
interface do computador, o que significa que a região mais dinâmica e mais inovadora do
mundo contemporâneo só se revela para nós através dos intermediários anônimos do
design de interfaces.
Avanços tecnológicos relacionados ao uso de computadores somente serão possíveis caso os
projetos de interface apresentar eficiência para promover este avanço. Na teoria, muitas empresas e
muitos profissionais, reconhecem a importância da usabilidade, porém na prática parece haver um
desconhecimento sobre como atingir essa usabilidade (LALLEMAND, 2011). Faz-se necessário
conhecer os conceitos e definições relacionados com a usabilidade, bem com as técnicas de
avaliação da usabilidade disponíveis para assim ir ao encontro do desenvolvimento avançado de
aplicações.
2.1.2 Avaliação da Usabilidade
O objetivo de fazer uma avaliação de usabilidade é detectar possíveis problemas que
usuários podem encontrar nas condições reais de uso. Sendo assim, seguindo as definições de
usabilidade já apresentadas anteriormente, antes de qualquer avaliação de usabilidade é preciso
conhecer quem é o usuário do sistema, quais as tarefas que ele realiza e em que tipo de ambiente de
execução ele trabalha.
A aplicação de práticas de avaliação da usabilidade pode ser realizada em qualquer fase do
desenvolvimento de software. Na fase inicial servirá para identificar parâmetros ou elementos a
serem implementados no sistema. Na fase intermediária é útil na validação ou refinamento do
projeto e por fim, na fase final, assegura que o sistema atenda aos objetivos e as necessidades dos
usuários. Assim, recomenda-se que a aplicação de práticas de avaliação da usabilidade seja
realizada pelo menos a partir da fase de refinamento ou validação do projeto (PADILHA, 2004).
De acordo com Cybis (2003), a avaliação da usabilidade tem como objetivos gerais: (i) a
validação da eficácia da interação humano-computador diante da efetiva realização de tarefas por
parte dos usuários, (ii) a verificação da eficiência desta interação diante dos recursos empregados e,
(iii) a obtenção de indícios da satisfação ou da insatisfação que ela possa trazer ao usuário.
39
Para Liljegren (2004), a avaliação da usabilidade, deve ser composta de três etapas:
encontrar problemas, determinar a severidade e propor soluções. Os problemas são encontrados
através da aplicação de técnicas de avaliação, a severidade pode ser determinada de acordo com a
frequência, impacto e persistência com que o problema ocorre. Por fim, a proposta de solução pode
ser feita por um especialista, após análise de resultados obtidos.
Um problema de usabilidade refere-se a qualquer característica que interfira na habilidade
do usuário em completar suas tarefas de forma efetiva e eficiente. Um problema é um aspecto do
sistema sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de
permitir a realização de objetivos de usuário em uma situação típica de uso (RAVDEN; JOHNSON,
1989).
Ainda, de acordo com Cybis (2003), atividades ligadas a esta perspectiva de avaliação da
usabilidade visam identificar os problemas de usabilidade em interfaces humano-computador e
contribuir para a sua eliminação. Entre os objetivos a serem atingidos pelas avaliações, tem-se:
Constatar, observar e registrar problemas de usabilidade durante a interação do
usuário com o sistema;
Calcular métricas objetivas para eficácia, eficiência e produtividade do usuário
durante a interação com o sistema;
Diagnosticar características de projeto que atrapalhem a interação entre o usuário e o
sistema;
Prever dificuldades de aprendizado em relação à operação com o sistema;
Prever tempos de execução de tarefas informatizadas;
Conhecer a opinião do usuário em relação ao sistema;
Sugerir as ações de re-projeto mais evidentes diante dos problemas diagnosticados.
A avaliação da usabilidade de interfaces pode ser realizada de diferentes maneiras, as quais
se enquadram basicamente em: avaliações envolvendo participação de usuários, avaliações
utilizando métodos de inspeção e estudos de campo. Nas avaliações que envolvem a participação
40
direta do usuário, encontram-se desde simples coleta de opinião sobre o nível de satisfação na
utilização de determinada interface, até o nível de análise de dados comportamentais, através da
realização de experimentos controlados (ensaios de interação). Métodos de inspeção tratam de um
conjunto de técnicas de avaliação baseadas em conhecimento, com os quais os avaliadores
examinam aspectos de usabilidade em uma interface seguindo critérios estabelecidos em cada um
dos tipos de inspeção. Estudos de campo baseiam-se na observação dos usuários utilizando uma
determinada interface, por dias ou por semanas, em seu ambiente de trabalho normal (PREECE et
al. 2005).
Para obter bons resultados, faz-se necessário planejamento adequado da avaliação e
aplicação de técnicas adequadas. No planejamento da avaliação, citado anteriormente, e na escolha
das técnicas, é importante avaliar as condições do ambiente e para que tipo de pessoas seja aplicado.
2.1.3 Técnicas de Avaliação da Usabilidade
A usabilidade é tema de estudo há algum tempo em diversas áreas do conhecimento. Ao
longo dos anos, uma série de técnicas para a avaliação da usabilidade foram desenvolvidas e
aplicadas de acordo com características e dificuldades dos objetos em estudo. Estudos mostram que
algumas técnicas são mais eficazes no encontro de problemas de usabilidade, em diversas situações
e com bastante êxito (SILVA FILHO, 2008).
As classificações para os tipos de avaliação da usabilidade são referenciadas por diversos
autores, tais como Nielsen e Mack (1994), Moço (1996), Heemann (1997), Medeiros (1999), Cybis
(2000), entre outros, que utilizam nomenclaturas diferenciadas para cada tipo de avaliação de
interfaces, todavia, de acordo com Padilha (2004), o principal critério de avaliação de interfaces é a
participação ou não do usuário nas avaliações.
Para escolher uma técnica de avaliação, faz-se necessário examinar suas qualidades no
confronto com os recursos disponíveis e as expectativas de resultados da avaliação de usabilidade
(CYBIS, 2000). O Quadro 1 apresenta uma comparação entre tipos de avaliação da usabilidade,
envolvidos, técnicas utilizadas e objetivos de avaliação.
41
Quadro 1. Técnicas de avaliação da usabilidade
TIPO DE
AVALIAÇÃO ENVOLVIDOS TÉCNICA/METODOLOGIA
OBJETIVO
(tipo de diagnóstico)
Técnicas
Prospectivas
Baseada na opinião do
usuário sobre a interação
com o sistema
Questionários
São uteis para obter informações quando existir um
grande número de usuários ou quando estes estiverem
geograficamente distribuídos, segmentados por perfil
ou por amostragem.
Avaliar a satisfação ou insatisfação
relativo ao sistema e sua operação.
Ensaios de Interação
Simulação de uma situação real de trabalho em campo
ou em laboratório da qual participam usuários
representativos da população-alvo do sistema.
Revelar problemas ligados a
utilização real do sistema e obter
dados objetivos sobre a produtividade
na interação. Revelam barreiras e
obstáculos gerais, iniciais e
definitivos.
Monitoramento com sistemas espiões
Sistemas de Software residentes na máquina do
usuário executando em paralelo ao aplicativo em teste.
Capturar e registrar a interação do
usuário não causando
constrangimentos.
Avaliação via Checklist
Trata-se de inspeções a requisitos propostos por
padrões de qualidade. Baseiam-se em listas de
verificação, guidelines e normas.
Possibilidade de ser realizada por projetistas, não
exige especialistas em interfaces humano-computador
pois o conhecimento ergonômico está contido no
checklist.
Grande quantidade de problemas
intermediários e menores; facilita a
identificação de problemas, reduz o
nível de subjetividade e custos.
Avaliação Heurística
Analise de conformidade do sistema diante de padões
de qualidade ou heurísticas definidas por especialistas.
A avaliação da usabilidade se da apartir de regras
heurísticas, experiências, conhecimentos ou habilidade
pessoais ou de grupos.
Todos os tipos de problemas
ergonômicos do software, inclusive
os falsos.
Problemas gerais e iniciais (ligados a
intuitividade do sistema).
Técnicas
Preditivas
/Diagnósticas
Sem participação do
usuário.
Basedo no conhecimento
e na experiência dos
avaliadores e em modelos
formais
Técnicas
Objetivas/
Empíricas
Participação direta dos
usuários.
Baseados na Observação
da Interação.
Avaliação Analítica
Confronto entre as lógicas de operação do projetista e
de um usuário novato. Empregado nas primeiras
etapas da concepção da interface.
Fonte: Adaptado de Padilha (2004).
Dentre as técnicas de avaliação da usabilidade citadas no Quadro 1, esta pesquisa optou por
utilizar a técnica preditiva de inspeção por checklist. Essa escolha ocorreu devido aos benefícios
que um checklist bem elaborado pode proporcionar aos envolvidos (analistas, desenvolvedores, etc.)
com aplicação de práticas de usabilidade em projetos de desenvolvimento de software que muitas
vezes não possuem conhecimentos em ergonomia.
2.1.3.1 Inspeções Ergonômicas Via Checklist
Um checklist é uma ferramenta que possui uma lista de questões a responder sobre a
usabilidade de um projeto/produto no qual o conhecimento ergonômico relacionado com a
usabilidade já está embutido no próprio checklist. Através da utilização de um checklist é possível
42
avaliar a qualidade de um software verificando a conformidade da interface em relação às
recomendações ergonômicas originárias de pesquisas aplicadas. Um checklist trata de aspectos
avaliativos gerais e também questões específicas. Versões personalizadas ou especializadas de um
checklist podem ser desenvolvidas a partir de recomendações genéricas (PADILHA, 2004).
Neste tipo de técnica, é a qualidade da ferramenta de checklist que determina a qualidade e a
possibilidade de avaliação, portanto, checklists bem elaborados devem produzir resultados mais
uniformes e abrangentes no que diz respeito à identificação de problemas de usabilidade tendo em
vista que os inspetores são conduzidos a examinar a interface através de uma mesma lista de
questões para ser respondidas em relação à usabilidade do projeto (CYBIS, 2003).
Os resultados que são obtidos quando esta técnica é utilizada dependem, portanto, da
organização e do conteúdo dessas ferramentas. Muitas vezes a sistematização é prejudicada devido
a questões subjetivas, que exigem do inspetor, muitas vezes novato na aplicação de práticas de
usabilidade, um nível de competência em usabilidade que ele não possui (CYBIS, 2003). Através de
guidelines ou questões adequadas ao tipo de interface em avaliação, a tendência é que as avaliações
sejam mais completas que em outros métodos, pois se pode fazer uma avaliação mais abrangente e
sistemática de várias características e propriedades da interface e não apenas a detecção do maior
número de problemas, como ocorre em alguns casos como a avaliação heurística, onde os resultados
da avaliação muitas vezes sofrem a influência das preferências pessoais e da forma como o
avaliador percorre a interface (JEFFRIES et al. 1991).
Nas inspeções via checklist, os inspetores, em sessões individuais, fazem a conferência da
interface comparando-a com o que é recomendado por um conjunto de guidelines. A aplicação
desta técnica pode ser através de um conjunto de recomendações na forma afirmativa (guidelines)
ou um checklist, onde as recomendações são organizadas no formato de questões, facilitando
significativamente o processo de avaliação. Não é recomendado que guias de recomendação ou
checklists sejam muito extensos, pois caso isso ocorrer, ficarão pouco práticos e irão desprender
muito tempo dos avaliadores com a interpretação (VALIATI, 2008). Nestes checklists, as questões
podem vir acompanhadas de notas explicativas, de exemplos ou até mesmo de um glossário a fim
de esclarecer possíveis dúvidas associadas às questões (CYBIS, 2003).
De acordo com Cybis (2000), a avaliação realizada por meio de checklists apresenta as
seguintes características:
43
Dispensa profissional de ergonomia (conhecimento ergonômico no checklist);
Facilita identificação de problemas devido à especificidade das questões;
Reduz nível de subjetividade e por consequência aumenta a eficácia;
Diminui custos (não há necessidade de profissional especializado);
Sistematiza a avaliação garantindo resultados mais estáveis mesmo quando aplicada
separadamente por diferentes avaliadores.
De acordo com Jeffries (et al. 1991), trata-se de uma das técnicas que apresenta um dos
menores custos de aplicação. Este baixo custo é em decorrência de diversos fatores, tais como: não
necessitar de especialista em IHC, não envolver usuários reais e consumir o menor tempo possível
durante sessões de teste e tratamento de dados. Poderia ser enquadrado como um dos métodos de
engenharia de usabilidade descontada, porém o fato de sua produtividade estar restrita a
abrangência e qualidade das guidelines/listas de verificação consideradas na avaliação. Entretanto,
mesmo com significativas vantagens relacionadas a custo e tempo, este tipo de avaliação muitas
vezes se torna efetivamente pouco mencionada e utilizada, devido à restrita quantidade de
guidelines que abordam particularidades e características pertinentes a tipos específicos de
interface.
2.1.4 Normas, Métodos e Modelos Relativos à Usabilidade.
Fundada em 23 de fevereiro de 1947, a Organização Internacional para a padronização (ISO,
em inglês: International Organization of Standardization), é uma entidade que reúne os grêmios de
padronização e normalização em 158 países. A ISO objetiva promover o desenvolvimento das
atividades e nivelamento nos serviços e produtos, resultando em acordos internacionais publicados
como padrões internacionais, também chamadas de normas ISO (ISO, 2011). Existem algumas
normas relacionadas com a usabilidade, que apresentam orientações para o desenvolvimento de
software.
44
2.1.4.1 ISO 9241
Na avaliação da usabilidade de sistemas interativos, tem-se também a ISO 9241 “Requisitos
ergonômicos para trabalho de escritórios com computadores” que foi criada em 1998 pela
International Standard Organization e adotada pela ABNT em agosto de 2002 sob a forma de
NBR-9241. Trata-se da primeira norma que definiu oficialmente a usabilidade como sendo a
medida pelo qual um sistema pode ser usado por um usuário específico para alcançar objetivos
específicos e em um contexto de uso específico, com eficácia, eficiência e satisfação (NBR 9241-
11).
Esta norma estabelece de uma forma ampla diretriz para sistemas computacionais com o
objetivo de permitir que o usuário atinja seu objetivo e satisfação de sua necessidade em um
contexto de uso particular. O contexto de uso do sistema é compreendido pela descrição dos
seguintes itens: usuários, tarefas, equipamentos e ambientes (DIAS, 2003).
As recomendações existentes na ISO 9241 foram definidas a partir de uma revisão da
literatura existente e através de evidências empíricas, sendo então utilizadas pelos projetistas e
avaliadores de interfaces (CYBIS, 2003). A parte 10 desta norma, intitulada “Princípios de
Diálogo”, merece destaque para esta pesquisa, por se ater aos princípios da usabilidade no diálogo
mantido entre as interfaces e o usuário de um software. Estes princípios, segundo a própria norma
aborda, podem ser aplicados genericamente no projeto de interfaces, independente da técnica
especifica de diálogo que esteja sendo trabalhada no momento.
A definição proposta na norma salienta o fato de que a usabilidade não é uma propriedade
isolada do produto, mas dependente de usuário, tarefas e contexto de uso do sistema. Esta norma
explica como elencar as informações necessárias para a especificação ou avaliação da usabilidade
em termos de medidas de desempenho do usuário e de sua satisfação. Orientações sobre como
descrever o contexto de uso do produto e medidas relevantes de usabilidade são apresentadas.
2.1.4.2 ISO/IEC 9126 e ISO/IEC 25000
A norma ISO/IEC 9126 (2001) intitulada: “Engenharia de Software: Qualidade do produto”
trata da avaliação de qualidade de um produto de software, teve seu início em 1991 com a definição
de características para a avaliação de um software como um produto, traz consigo o conceito de
“qualidade em uso” que trata da capacidade do produto de software em permitir a usuários
45
específicos atingir metas especificadas. Como o escopo de avaliação de software sofreu um rápido
crescimento, no ano de 2000 a norma sofreu algumas atualizações que faltavam em 1991
(MAUDA, 2012). Apresenta métricas baseadas em normas de qualidade, engenharia de software e
requisito de usabilidade para medir a qualidade de um produto de software de qualquer aplicação.
Tais métricas são colocadas através de um conjunto de questões que deve ser observadas durante a
avaliação (ISO 9126, 2001).
Semelhante à definição de usabilidade encontrada na ISO 9241, na norma ISO/IEC 9126
também existe referência ao contexto de uso para definição da usabilidade. Tratada como um dos
componentes de qualidade de software, nesta norma a usabilidade é definida como a capacidade de
compreensão do software pelo usuário, capacidade de aprendizado, capacidade de ser operado e
atrativo para o usuário quando utilizado sob condições específicas. Trata-se de uma definição bem
próxima da visão de Nielsen e Jordan, que citam a usabilidade relacionada à facilidade de uso e ao
aprendizado (BETIOL, 2004).
As seis características citadas na norma ISO/IEC 9126 são: funcionalidade, confiabilidade,
usabilidade, eficiência, manutenibilidade e portabilidade. Todas estas características citadas são, por
sua vez, subdivididas em subcaracterísticas. Neste caso, para o trabalho aqui proposto, é importante
destacar que as subcaracterísticas de usabilidade são: inteligibilidade, apreensibilidade,
operacionalidade, atratividade e conformidade relacionada à usabilidade (ISO 9126, 2001).
Posteriormente, no ano de 1999, o comitê técnico da ISO realizou a revisão das normas
ISO/IEC 9126 e ISO/IEC 14598, convergindo as duas em uma única família para que falhas,
ambiguidades e conflitos pudessem ser eliminados. A família dessa norma é a ISO 25000, também
conhecida como Projeto SQuaRE. O objetivo geral do projeto está em confeccionar uma família de
normas logicamente organizadas, com o intuito de cobrir dois pontos principais: especificação de
requisitos e avaliação da qualidade de software, ambos utilizando-se de um processo de medição
(ISO/IEC 25000, 2005).
Um processo de avaliação de qualidade deve contemplar as várias etapas existentes dentro
de um ciclo de vida de um software e assim a norma realizou a divisão deste intervalo: ISO/IEC
2500n com a Divisão da Gestão da Qualidade, ISO/IEC 2501n com a Divisão do Modelo de
Qualidade, ISO/IEC 2502n com a Divisão de Métricas de Qualidade, ISO/IEC 2503n com a Divisão
de Requisitos de Qualidade, ISO/IEC 2504n com a divisão da avaliação da qualidade e por fim a
46
ISO/IEC 25050 – 25099 que possui a extensão de padrões SQuaRE . Cada uma destas divisões é
composta de um conjunto de documentos e trata de um assunto particular (ISO/IEC 25000, 2005).
A norma ISO/IEC 25010 (ISO/IEC 25000, 2005) apresenta o modelo de qualidade para
software atualizando o modelo definido na norma ISO/IEC 9126. Este modelo auxilia a avaliação
por vários atores de um projeto de software como gerentes, desenvolvedores, usuários. A maioria
das mudanças está relacionada com as características e subcaracterísticas do modelo de qualidade
(ISO/IEC 25000, 2005). Em relação à usabilidade, interesse deste projeto, as mudanças são:
Adição da subcaracterísticas “Proteção a erros do usuário”;
Adição da subcaracterísticas “Acessibilidade”;
Mudança de nome “Atratividade” para “Estética de Interface com o Usuário”.
2.1.4.3 MEDE-PROS®
A ASSESPRO Nacional (Associação das Empresas Brasileiras de Tecnologia da
Informação, Software e Internet) e o CenPRA (Centro de Pesquisas Renato Archer), firmaram em
1993 uma parceria objetivando conscientizar e incentivar a capacitação tecnológica das empresas
que produzem software, que estavam associadas à ASSESPRO, criando o Prêmio ASSESPRO de
Qualidade de software “Melhor software do Ano” (CARNEIRO; MOURA, 2004).
Com o intuito de aumentar a confiabilidade do julgamento técnico do prêmio, o CENPRA
desenvolveu, em 1993 o MEDE-PROS®, uma metodologia de avaliação da usabilidade registrada
junto a Fundação Biblioteca Nacional (MEDE-PROS, 1997) e pertencente ao Centro de Pesquisa
Renato Archer – CenPRA (SILVA JUNIOR, 2008).
Quando desenvolvido, este método tinha seus critérios baseados apenas na norma NBR
ISO/IEC 9126 e apresentava 43 questões de verificação. Mais tarde, em 2000, o método passou para
540 questões sendo que os critérios passaram a ser baseados em outras normas, tais como: ISO/IEC
9126, 14598-5, 12119, 9241 e IEEE 1063, além também de toda a experiência adquirida pelo
CENPRA ao longo dos anos (CARNEIRO; MOURA, 2004).
Este método passou a ser referência nacional na avaliação de qualidade de produtos de
software, passando a ser utilizado não somente para o prêmio, mas também para a qualificação do
47
PNAFAM (Programa Nacional de Apoio a Gestão Administrativa e Fiscal dos Municípios
Brasileiros), para as CNS (Chamada Nacional SOFTEX de 1997) e na avaliação de produtos de
software de empresas com o objetivo de qualificar os seus produtos (CARNEIRO;MOURA, 2004).
Trata-se de um modelo utilizado nas avaliações de qualidade de produto de software em
várias ocasiões nas quais o CTI (Centro de Tecnologia da Informação Renato Archer) desenvolveu
atividades sob demanda (GUERRA; COLOMBO, 2008). O MEDE-PROS® é formado por três
componentes: listas de verificação, manual do avaliador e um modelo de relatório de avaliação.
A lista de verificação é uma ferramenta de avaliação da qualidade de produtos de software
formada por cinco módulos que permite avaliar um produto de forma completa. Destes cinco
módulos, dois são de pacote e descrição do produto e verificam se as informações disponíveis ao
comprador, antes da compra efetuada, estejam em conformidade com os requisitos da norma NBR
ISO/IEC 12119, um terceiro módulo, de documentação, verifica se os requisitos de qualidade
definidos pela ISO/IEC 12119 e 9126 e ANSI IEEE 1063 estão presentes no produto de software
que se encontra em avaliação. O quarto módulo verifica se os requisitos de software definidos pela
norma ISO/IEC 9126 estão presentes no produto avaliado. Por fim, o quinto módulo, de interfaces,
verifica se os requisitos de qualidade definidos pelas normas ISO/IEC 9126, 9241-10, 11, 12, 14 e
16 e pelo ERGOLIST também estão presentes no produto avaliado (CARNEIRO; MOURA, 2004).
Cada um destes módulos citados é dividido em características de qualidade que são
avaliadas segundo um ou mais quesitos, sendo que cada quesito é um atributo que deve ser
observado por um avaliador em um contexto definido (GUERRA, COLOMBO, 2008). Dessa
forma, com a lista de verificação apresentada pelo MEDE-PROS®, é possível avaliar elementos
que compõe um produto de software, tais como: embalagem, descrição do produto, documentação,
interface e software (SILVA JUNIOR, 2008). A Figura 1 apresenta a estrutura da lista de
verificação de um método de avaliação no MEDE-PROS®.
48
Figura 1. Estrutura de lista de verificação de um método de avaliação (mede-pros)
Fonte: Adaptado de Guerra e Colombo (2008).
O módulo de interface no MEDE-PROS® é composto de características e subcaracterísticas.
As características citadas são usabilidade (formada pelas subcaracterísticas: inteligibilidade e
operacionalidade), funcionalidade (formada pelas subcaracterísticas: adequação, acurácia e
segurança de acesso) e confiabilidade (formada pelas subcaracterísticas: maturidade e tolerância a
falhas). Todas estas características e subcaracterísticas são avaliadas por um total de 66 questões.
As listas de verificação são compostas de questões com proposições lógicas sobre um
determinado atributo a ser verificado. Sendo assim, cada proposição que compõe um atributo é o
mais objetiva possível, envolvendo apenas um aspecto do atributo, sendo que as possíveis respostas
para as questões são: “S” – Sim, para as proposições verdadeiras; “N” – Não, para as proposições
falsas; “NA” – Não Se Aplica, para as sentenças que referenciam um aspecto que não se enquadra
ao produto avaliado e por fim, “AP” – Avaliação Prejudicada, para aquelas sentenças em que o
avaliador não está em condições de avaliar (SILVA JUNIOR, 2008).
O manual do avaliador, segundo componente do MEDE-PROS® apresenta um conjunto de
informações utilizadas em conjunto com as listas de verificação, durante a avaliação da qualidade
de um produto de software, fornecendo diretrizes e recomendações para a execução de um processo
de avaliação. Trata-se de um manual composto de explicações e exemplos de alguns atributos
presentes nas listas de verificação para que seja possível uma melhor compreensão do aspecto a ser
avaliado, convenções utilizados no checklist, diretrizes para a execução da avaliação, regras e
49
obrigações dos avaliadores e informações acerca do preenchimento do checklist (SILVA JUNIOR,
2008).
Por fim, o último componente do MEDE-PROS®, o “Relatório de Avaliação”, é um laudo
técnico sobre a qualidade do produto de software avaliado do ponto de vista de um usuário final.
Trata-se do resultado da avaliação, destacando os aspectos do produto de software que atendem as
normas de qualidade de software, bem como os aspectos a serem revistos, originados pelas não
conformidades encontradas durante o período de avaliação.
2.1.4.4 ERGOLIST
O LabIUtil (Laboratório de Utilizabilidade) é um laboratório, vinculado ao Departamento de
Informática e Estatística e ao Departamento de Produção de Sistemas da Universidade Federal de
Santa Catarina (UFSC), que fornece serviços de avaliação de qualidades ergonômicas de
dispositivos com interfaces humano-computador. Tem como principal objetivo auxiliar na criação e
manutenção das qualidades ergonômicas, buscando: facilidade de aprendizagem, facilidade de uso e
adequação a tarefa dos dispositivos interativos informatizados (ERGOLIST, 2008).
O ERGOLIST, disponibilizado via internet, possui como principal objetivo disponibilizar
informações, serviços e oportunidades de comunicação para auxiliar no projeto (design) e na
avaliação de interfaces humana-computador ergonômico. Composto por uma base de conhecimento
em ergonomia é formado pela união de várias recomendações escolhidas considerando alguns
critérios: importância e pertinência da recomendação, existência de material explicativo sobre a
recomendação e sua aderência a um critério ergonômico e a uma característica de interface
(ERGOLIST, 2008).
O ERGOLIST foi desenvolvido por diversos profissionais do Laboratório de Utilizabilidade
e conta com dezoito critérios elementares: Presteza, Agrupamento por Localização, Agrupamento
por Formato, Feedback, Legibilidade, Concisão, Ações Mínimas, Densidade Informacional, Ações
Explícitas, Controle do Usuário, Flexibilidade, Experiência do Usuário, Proteção contra Erros,
Mensagens de Erro, Correção de Erros, Consistência, Significados e Compatibilidade.
Para que o Ergolist possa ser utilizado, basta que o avaliador acesso seu endereço na
internet: http://www.labiutil.inf.ufsc.br/ergolist, onde existem informações sobre a ferramenta e o
usuário posteriormente define qual o módulo que será acessado:
50
Módulo 1 – Checklist: auxilia o avaliador a realizar uma inspeção sistemática da
qualidade ergonômica da interface com o usuário de seu sistema. O checklist
apresentado no site é dividido em 18 critérios de avaliação;
Módulo 2 – Questões: possibilita o conhecimento das questões que formam o
checklist. Os 18 critérios de avaliação apresentam um total de 194 questões;
Módulo 3 – Recomendações: encontram-se recomendações ergonômicas que podem
auxiliar nas decisões de projetos de interface com o usuário. Os 18 critérios de
avaliação apresentam um total de 194 recomendações.
Também fica disponível para o usuário, acesso a glossário de termos, enunciados das
questões e informações complementares.
2.1.5 Decomposição da Usabilidade
A usabilidade é comumente compreendida como um atributo que avalia a qualidade de uso
de uma aplicação (HUSSAIN; FERNELEY, 2008). Trata-se de um fator importante inserido em
quase todos os modelos de qualidade de software. Uma definição adequada da usabilidade pode agir
como uma diretriz para o desenvolvimento eficiente de sistemas de software (DUBEY; RANA,
2011).
Conforme já citado nesta pesquisa, devido à importância tão ampla da usabilidade, pode-se
encontrar na literatura um grande número de pesquisas acerca do tema. Estas pesquisas vêm ao
encontro das necessidades de software de qualidade que o mercado passou a exigir, tornando-se
necessário apoiar a construção de software de qualidade em definições precisas acerca deste tema,
bem como de atributos que apoiem a respectiva avaliação (DUBEY; RANA, 2010).
As pesquisas encontradas na literatura abordam diferentes definições para a usabilidade,
bem como diferentes atributos para avalia-la (DUBEY; RANA, 2011). A Tabela 1 pretende
apresentar alguns dos atributos de usabilidade propostos na literatura.
51
Tabela 1. Atributos de usabilidade em diferentes modelos, padrões e definições
Ano Pesquisadores Atributos
2012 Dubey et al. Eficácia, eficiência, satisfação e capacidade de aprendizado.
2010 Alonso-Rios et
al.
Capacidade de ser conhecido, operacionalidade, eficiência, robustez,
segurança, satisfação subjetiva.
2009 Sauro e Lewis Tempo de tarefa, taxa de conclusão, erros, satisfação no pós-tarefa e
satisfação no pós testes.
2006 Seffah et al. Eficiência, eficácia, produtividade, satisfação, capacidade de aprendizado,
segurança, confiabilidade, acessibilidade, universalidade e utilidade.
2003 Bass e John Modificabilidade, escalabilidade, reusabilidade, desempenho e segurança.
Campbell e
Aucoin
Facilidade de aprendizado, facilidade de uso, facilidade para relembrar,
tolerância a erros e subjetivamente agradável.
Abran et al. Eficiência, eficácia, satisfação, capacidade de aprendizado e segurança.
2002 Brinck et al. Funcionalmente correto, eficiente de usar, fácil de aprender, fácil de
lembrar, tolerante a erros, subjetivamente agradável.
2001 Battleson et al. Facilidade de aprendizado, facilidade para relembrar, poucos erros e
suporte.
Seffah,
Donyaee e
Kececi
Eficácia, eficiência, satisfação, produtividade, segurança,
internacionalidade e acessibilidade.
ISO 9126-1 Inteligibilidade, capacidade de aprendizado, operacionalidade,
atratividade e concordância com a usabilidade.
1998 ISO 9241-11 Eficácia, eficiência e satisfação.
Lecerof e
Paternò
Necessidades do usuário, eficiência, sentimentos subjetivos do usuário,
capacidade de aprendizado e segurança do sistema.
1997 Wixon e
Wilson
Capacidade de aprendizado, eficiência, taxa de erro, memorização,
primeira impressão, uso de recursos avançados, satisfação, flexibilidade e
evolução.
1994 Preece Capacidade de aprendizado, rendimento, atitude e flexibilidade.
1993 Hix e Hartson Desempenho inicial, desempenho a longo prazo, capacidade de
aprendizado, capacidade de retenção, uso avançado de recursos, primeira
impressão e satisfação do usuário a longo prazo.
Nielsen Capacidade de aprendizado, eficiência, memorização, poucos erros e
satisfação.
1992 IEEE Std.
1061
Compreensibilidade, facilidade de aprendizado, operabilidade e
comunicabilidade.
1991 Shackel e
Richardson
Eficácia, capacidade de aprendizado, flexibilidade e atitude do usuário.
1989 Booth Utilidade, eficácia, capacidade de aprendizado e atitude.
1977 McCall’s Operacionalidade, treinamento e comunicabilidade.
Este conjunto de pesquisas e publicações encontradas nesta revisão bibliográfica
contextualiza a usabilidade através de vários pontos de vista e com um conjunto diferente de
52
atributos em cada pesquisa. A própria literatura informa que não há um consenso em relação à
definição do escopo de atributos relacionados com a usabilidade (SEFFAH et al., 2006).
Além desta diversidade de atributos, outro fator a ser verificado é que estas pesquisas não
apresentam de forma clara como estes atributos estão relacionados ou como seleciona-los para
aplicações em particular de acordo com o ambiente de execução. Esta dificuldade na seleção dos
melhores atributos em relação ao tipo de aplicação que será avaliada gera muitas vezes desperdício
de esforço e tempo por parte dos envolvidos com o processo de desenvolvimento de software.
Devido à falta de uma estrutura consistente e consolidada de atributos, demanda-se tempo
para selecionar os melhores atributos em contexto de uso específicos (SEFFAH et al., 2006), bem
como a melhor técnica para aplicação da inspeção da usabilidade no contexto de desenvolvimento
de um software. As pesquisas acerca da usabilidade possuem qualidade e fornecem benefícios na
sua aplicação, no entanto, apresentam soluções isoladas e não permitem uma visão integrada da
qualidade de software (WAGNER; DEISSENBOECK, 2007).
2.1.6 Trabalhos Relacionados – Checklists de Usabilidade
Conforme verificado através da literatura existente, evidenciado principalmente na Tabela 1,
diversos pesquisadores ao longo dos últimos anos já propuseram listas de atributos para a avaliação
da usabilidade. Pode-se verificar, através do levantamento bibliográfico informal realizado, que não
há um padrão para os atributos abordados pelos pesquisadores. Também foi possível verificar nestas
pesquisas que diversas técnicas de avaliação da usabilidade foram utilizadas para a avaliação destes
atributos.
Esta pesquisa pretende propor um framework para apoio à elaboração de listas de
verificação para inspeção da usabilidade. A inspeção da usabilidade será realizada utilizando a
técnica de inspeção por checklist. Dessa forma, uma revisão informal sobre checklist de usabilidade
foi realizada com o intuito de verificar a estrutura de informação abordada pelos checklists
existentes na literatura.
A revisão informal sobre checklists de usabilidade foi realizada utilizando-se do Google
Scholar, uma ferramenta da Google que permite efetuar pesquisa de trabalhos acadêmicos, literatura
escolar, jornais de universidades e artigos variados. Para a revisão informal sobre checklists de
53
usabilidade, foi definido um protocolo de busca mais sucinto utilizando-se de termos como
checklist, avaliação, inspeção e usabilidade.
O protocolo de pesquisa utilizado no Google Scholar foi: (checklist and evaluation and
inspection and usability). Na aplicação deste protocolo, houve restrição de busca por período: entre
2008 até 2013. A pesquisa foi realizada em toda a web e não somente em páginas em Português.
Após a aplicação do protocolo com os filtros citados, os 50 primeiros registros foram verificados.
O objetivo desta revisão informal foi avaliar se os checklists encontrados apresentam todos
os componentes que se pretende contemplar no framework proposto nesta pesquisa. Ou seja,
verificar a estruturação que se apresentam em relação a características, atributos, questões, métricas
e recomendações.
O cenário encontrado acerca de checklists de usabilidade mostrou-se bastante reduzido em
relação à estruturação de componentes utilizado. Através dos 50 primeiros registros retornados pelo
Google Scholar, foi possível encontrar somente quatro pesquisas que utilizaram a técnica da
inspeção por checklist como técnica de avaliação dos atributos de usabilidade propostos. A Tabela 2
resume as informações dos checklists encontrados na revisão informal realizada.
Tabela 2. Checklists de usabilidade encontrados na revisão
Título Ano
Ambiente de
execução
Possui
questões?
Possui
recomendações?
Possui
métricas?
Perfil de
avaliadores
Conhecimentos
em usabilidade
Número de
avaliadores
Permite
extensibilidade?
A framework for evaluating
the usability of mobile
phones based 2009
Dispositivos
Móveis Sim Não Não
Profissionais
de
usabilidade Sim 8 Sim
UseLearn: A novel
checklist and usability
evaluation method for
eLearning 2010 Web Sim Não Não
Alunos de
graduação
(biologia) Não 105 Sim
Evaluating teamwork
support in tabletop
groupware applications 2008 Tabletop Sim Não Não
Alunos de
universidade Sim 12 Sim
A decision support system
for usability evaluation of
web-based 2011 Web Sim Não Não
Alunos de
universidade Não 179 Não
Todos os quatro checklists verificados apresentavam algumas questões para avaliar alguns
atributos citados, entretanto, sem maiores explicações para compreensão da questão, ou seja, não
apresentavam recomendações para a respectiva avaliação de determinado atributo. Métricas para a
respectiva avaliação do atributo também não foram encontradas.
54
2.1.7 Limitações de Checklists de Usabilidade da Literatura
Este capítulo apresentou uma fundamentação teórica acerca da usabilidade, destacando a
importância desta no desenvolvimento de software. Também foram apresentadas técnicas, normas e
checklists para avaliação da usabilidade que foram criadas ao longo dos anos pela literatura e
pesquisas realizadas nesta área. Dois checklists desenvolvidos por pesquisadores brasileiros para a
avaliação da usabilidade foram apresentados de forma mais detalhada, o MEDE-PROS® e o
ERGOLIST.
O MEDE-PROS®, não é um método de avaliação especialista, portanto, não se especializa
em nenhuma área de domínio de sistemas aplicativos. Trata-se de um método de avaliação genérico.
Sendo assim, devido a sua característica genérica, a avaliação depende da experiência do avaliador,
a avaliação fica “amarrada” à experiência do avaliador na área de domínio do aplicativo que será
avaliado ou na documentação do usuário, fornecida juntamente com o produto de software, sendo
necessário, por diversas vezes, treinar os avaliadores no uso de produtos avaliados, sendo que a
documentação de software, na grande maioria das vezes está desatualizada e, portanto, prejudica a
cobertura da avaliação.
Assim, para o MEDE-PROS®, caso o avaliador é especialista na área de domínio da
aplicação certamente a avaliação será mais produtiva, no entanto, na maioria das vezes não há
disponível avaliador com o perfil necessário e que conheça o método de avaliação (CARNEIRO;
MOURA, 2004). Diante disso, para que a avaliação seja positiva em relação à interpretação das
orientações, faz-se necessário um especialista em usabilidade, gerando muitas vezes um custo extra
para a empresa que resolver utiliza-lo.
Outro ponto a ser destacado é o fato de que esta metodologia não é diretamente focada em
um cliente que irá adquirir um software, mas sim para a empresa de software que queira avaliar a
qualidade de seu produto (DUARTE FILHO, 2011).
O ERGOLIST por sua vez, compõe uma técnica de avaliação rápida, destinando-se a apoiar
a inspeção da interface e descobrir seus defeitos ergonômicos mais flagrantes. Entretanto, este
checklist é genérico e apresenta critérios de inspeção sem indicação do(s) ambiente(s) de execução
para o qual se aplicam, muitas vezes prejudicando avaliações realizadas com o uso do ERGOLIST,
tendo em vista que muitas vezes as questões não se aplicam ao produto avaliado (SANTOS, 2010).
55
Outro aspecto negativo identificado no ERGOLIST foi o grande número de itens que
compõe o checklist utilizado. Esse elevado número torna-se ainda mais agravante quando verificado
que não há um mecanismo que possibilite salvar as informações para que posteriormente seja
possível retornar o checklist a partir do ponto onde se havia parado. A falta de um direcionamento
conforme ambiente de execução, citado anteriormente, faz com que um elevado número de questões
seja assinalado como “Não aplicável” e consequentemente aumenta desnecessariamente a carga de
trabalho do usuário que está realizando a inspeção.
Por fim, os checklists encontrados na revisão informal realizada continham a relação
característica x atributo ou a relação atributo x questão e por sua vez eram específicos para um
ambiente de execução, mas não informavam se determinado atributo ou questão poderia ser
utilizado para avaliação noutro ambiente de execução, por exemplo. As questões, na grande maioria
das vezes não apresentavam métricas ou recomendações para a avaliação da usabilidade, deixando,
portanto, a carga do avaliador realizar a interpretação das questões.
56
3 ESTADO DA ARTE
Ainda não há um consenso entre os pesquisadores para um modelo que descreva claramente
todas as características da usabilidade. Essa lacuna de conhecimento é uma das razões pela qual a
maioria dos estudos de usabilidade ou são simplificados ou são realizados estudos específicos em
determinados contextos (MOSQUEIRA-REY; ALONSO-RÍOS; MORET-BONILLO, 2009).
Outro aspecto relacionado com a usabilidade que deve ser destacado é a grande quantidade
de pesquisas encontradas nesta área. Tem-se um extenso conjunto de características, atributos e
modelos de avaliação da usabilidade disponíveis (SIGNORE, 2005; SEFFAH et al., 2006;
WINTER; WAGNER; DEISSENBOECK, 2008), conforme pode ser observado no Capítulo 2.
Cada um destes modelos de avaliação apresenta seu conjunto específico de atributos, sendo que um
mesmo atributo pode ter sido abordado em diversos modelos ou ser desconsiderado. Outra situação
encontrada também nestas publicações são atributos de usabilidade apresentados com
nomenclaturas diferenciadas, porém com o mesmo conceito ou conceitos semelhantes entre os
modelos. Com base neste cenário, um mapeamento sistemático da literatura vem contribuir com a
sintetização dos atributos utilizados para a avaliação da usabilidade nos ambientes de execução
web, desktop e dispositivos móveis, abordados nas pesquisas realizadas entre 2005 e 2012.
Os termos: característica, atributo, métrica e recomendação, citadas são utilizadas para
classificar os diversos aspectos, informações e qualidades relacionadas com a usabilidade, obtidas
através deste mapeamento sistemático. Optou-se por utilizar uma estrutura de hierarquia para a
apresentação das características, atributos, métricas e recomendações de usabilidade encontradas
nos artigos avaliados, tendo em vista que outros modelos na literatura também utilizam estrutura
hierárquica para apresentar informações relacionadas com a usabilidade (Modelo QUIM, Seffah et
al., 2006).
Assume-se neste mapeamento sistemático da literatura, que as características estão no topo
da estrutura hierárquica citada, representando uma visão mais abrangente da qualidade relacionada
com a usabilidade. Os atributos encontram-se abaixo das características e representam a informação
de forma mais granular. Neste mapeamento sistemático, uma característica poderá ou não estar
relacionada a um ou mais atributos e um mesmo atributo pode estar relacionado a mais de uma
característica. Por fim, na base da estrutura hierárquica, estão às métricas que representam a
57
informação utilizada para a avaliação da usabilidade apresentadas de forma mais objetiva e as
recomendações, que tem por objetivo orientar o desenvolvimento de interfaces através de boas
práticas (como por exemplo: disposição/estrutura de menu, padrão de apresentação para links, cor
de fonte para textos, etc.).
3.1 MAPEAMENTO SISTEMÁTICO DA LITERATURA
A principal razão para a realização de um mapeamento sistemático da literatura é aumentar a
qualidade do material utilizado sobre o assunto de interesse, aumentando o sucesso de investigação,
evitando duplicação desnecessária de esforço e erros. Um mapeamento sistemático segue uma
sequencia definida de passos metodológicos que por sua vez oferecem um elevado valor científico
para os resultados obtidos. Na execução de um mapeamento sistemático, tem-se o estabelecimento
de critérios, estratégias de busca e a descrição de todos os elementos previamente necessários para
que seja realizada uma condução metódica das atividades (KITCHENHAM, 2007). Assim, as
seções seguintes detalham cada etapa realizada.
3.1.1 Planejamento do Mapeamento Sistemático
Objetivando mapear característica e atributos de avaliação da usabilidade nos ambientes de
execução web, desktop e dispositivos móveis, estabeleceu-se a seguinte pergunta de pesquisa:
Quais atributos estão relacionados à usabilidade de produtos de software quando
considerados diferentes ambientes de execução (dentre os contemplados nesta
pesquisa: web, desktop e dispositivos móveis)?
Para responder a questão de pesquisa foram utilizadas quatro bases de dados, a citar: (i)
ACM Digital Library; (ii) IEEExplore Digital Library; (iii) ScienceDirect; (iv) SpringerLink. Em
cada uma das bases de dados a seguinte string de busca foi executada: (usability) AND (attribute
OR factor OR criteria OR metric OR measurement OR method OR evaluation OR requirement)
AND (web OR internet OR www OR desktop OR ‘mobile device’).
A linguagem adotada na pesquisa foi o inglês por ser o idioma predominante nos estudos da
área. Referente à confiabilidade do conteúdo apresentado nos estudos, considera-se que os trabalhos
já passaram por processos de avaliação e revisão prévia que permitiram sua inclusão nas bases
58
pesquisadas. O processo se deu através de busca de estudos primários (experimentos, estudos de
caso) publicados em proceedings, journals e periódicos disponíveis nas bases de dados
internacionais. Após obter as referências dos estudos recuperados nessas quatro bases, foram
adotados alguns critérios de seleção e exclusão que ajudassem a limitar os artigos que pudessem
auxiliar a responder as perguntas de pesquisa (conforme Tabela 3).
Tabela 3. Critério de inclusão e exclusão de estudos
CRITÉRIOS DE INCLUSÃO
CI1. Estudos disponíveis em alguma fonte na web (dentre as fontes citadas aqui);
CI2. Estudos que atendam, em algum nível, a questão de pesquisa. Serão selecionados estudos
que apresentam atributos de usabilidade, aplicado a um produto de software, relacionado com
pelo menos um dos ambientes de execução contemplados pela pesquisa;
CI3. Estudos que apresentam evidência de aplicação dos atributos propostos;
CI4. Estudos que apresentam conceituação dos atributos propostos (a conceituação pode estar no
próprio estudo primário ou em local apontado/direcionado pelos autores);
CI5. Estudos completos publicados em anais e periódicos a partir de 2005;
CRITÉRIOS DE EXCLUSÃO
CE1. Estudos que não apresentem atributos de usabilidade em pelo menos um dos ambientes de
execução contemplados pela pesquisa ou não explicite o ambiente de execução;
CE2. Estudos que não conceituem os atributos utilizados;
CE3. Estudos que apresentem um domínio de aplicação específico, como por exemplo, e-gov, e-
commerce, ou focarem em um perfil específico de usuário, como exemplo, terceira idade,
dificuldade de visão, etc.
CE4. Não serão selecionados resumos de estudos;
CE5. Estudos em que não consta a evidência da aplicação;
CE6. Quando um estudo possuir publicações em múltiplos proceedings ou journals a versão mais
completa do estudo será utilizada;
3.1.2 Condução e Extração
A condução do mapeamento sistemático foi realizada no período de Setembro de 2012 até
março de 2013, consistindo na execução do protocolo de busca. O processo de condução observou
as etapas retratadas na Figura 2, partindo de potenciais 345 estudos, restando 65 estudos
selecionados. A condução dos estudos foi feita em três etapas:
1. Seleção e catalogação preliminar dos estudos coletados: a seleção preliminar das
publicações será feita a partir da aplicação da string de busca nas fontes de busca
selecionadas;
59
2. Seleção dos documentos relevantes: a seleção preliminar utilizando a string de busca não
garante que todo o material que foi coletado seja utilizado no contexto da pesquisa. Sendo
assim, após a identificação das publicações obtidas através dos mecanismos de busca, serão
analisados os estudos seguindo os critérios de inclusão e exclusão estabelecidos;
3. Extração das informações dos documentos relevantes: após a definição da lista final de
documentos relevantes, serão extraídas as informações necessárias relacionadas ao objetivo
da pesquisa.
Figura 2. Processo de seleção de estudos primários
Dentre os 65 estudos selecionados para leitura completa, tem-se o seguinte cenário de
ocorrências em cada uma das bases de dados avaliadas: IEEEXPLORE Digital Library: 45,16%,
ACM Digital Library: 22,58%, Sciencedirect: 19,35% e Springer Link: 12,91%.
A partir do conjunto de estudos primários selecionados para efetuar a extração de dados, as
seguintes informações foram extraídos para análise:
Título: identifica o estudo selecionado;
Ano: fornece uma visão temporal da abordagem de atributos de avaliação da
usabilidade;
60
Base de Dados: identifica a origem do estudo selecionado;
Ambiente de Execução: identifica o ambiente de execução para os atributos
apresentados no estudo avaliado. Neste tópico, os estudos foram classificados como:
(i) web, (ii) desktop e (iii) dispositivo móvel;
Tipo de Referência: identifica as fontes utilizadas para embasar o modelo de
avaliação de usabilidade apresentado no estudo;
Estrutura abordada no modelo: identifica a estrutura apresentada pelo estudo
avaliado quanto à apresentação de atributos de usabilidade;
Lista de atributos: compilação dos atributos de avaliação da usabilidade citados nos
estudos avaliados;
Métricas ou recomendações: identifica se o estudo avaliado apresenta métricas ou
recomendações para orientar a avaliação da usabilidade;
Técnica de avaliação: identifica a técnica empregada para avaliar o modelo ou atributos de
usabilidade abordados em cada estudo avaliado. Foi utilizada a classificação de técnicas de
avaliação proposta por Cybis (2003), conforme apresentado na Figura 3;
61
Figura 3. Técnicas de avaliação da usabilidade
Contexto: identifica o contexto de aplicação do estudo de usabilidade. Neste tópico,
os estudos foram classificados como: (i) não explicitado, (ii) acadêmico/universitário
e (iii) empresarial;
Participantes: identifica o número de pessoas que avaliaram os atributos ou modelo
de usabilidade apresentado.
No processo de seleção de estudos a técnica de snowball foi aplicada. A aplicação deste tipo
de técnica consiste em adicionar na pesquisa que está sendo realizados, estudos referenciados pelos
estudos primários selecionados que possam contribuir com a pesquisa (JALALI; WHOLIN, 2012).
Sendo assim, quando um estudo primário (dentre os 31 selecionados) referenciou outro estudo que
contivesse modelos, métricas ou recomendações que poderiam contribuir com a pesquisa, este
estudo referenciado também foi incluído. No apêndice A encontra-se a listagem com os 31 estudos
primários selecionados pelo mapeamento sistemático juntamente com os nove estudos incluídos
empregando a técnica de snowball, acrescentando nove estudos (#35, #36, #37, #38, #39, #40, #41,
#42, #43).
62
3.1.3 Resultados e Discussões
Esta seção apresenta os principais resultados obtidos a partir dos 31 estudos primários
selecionados. A Figura 4 apresenta a quantidade de estudos que foram selecionados para extração
de dados em cada um dos anos do intervalo de tempo considerado neste mapeamento sistemático
(2005-2012). Ao longo dos anos observa-se que de forma constante foram publicados estudos nesta
área e a produção de pesquisa se manteve, destacando a importância que esta área de pesquisa
remete.
Figura 4. Quantidade de estudos avaliados por ano
Através da Figura 4 pode-se perceber que a ocorrência de estudos relacionados ao ambiente
de execução web se manteve praticamente constante durante o período de tempo avaliado. Esta
quantidade de estudos relacionados ao ambiente de execução web pode ser atribuída, dentre outros
fatores, ao crescimento da Web, sua popularização e sua importância como meio de comunicação
global. Também pode ser verificado (Tabela 5) que se trata do ambiente de execução que mais
aborda atributos relacionados com a usabilidade. Em contrapartida, o ambiente de execução desktop
possui a menor incidência de estudos relacionados à definição de um conjunto de atributos para a
avaliação da usabilidade.
Em relação aos dispositivos móveis, espera-se um crescimento de estudos relacionados a
este ambiente de execução, considerando o crescimento destes ambientes (relatório do Cisco prevê
que dispositivos móveis vão superar número de pessoas em 2013 e que até 2017 haverá 1,4
dispositivos por habitante) (CISCO, 2013).
63
Em relação aos ambientes de execução abordados nos 31 estudos avaliados, tem-se o
seguinte cenário: 71% dos estudos são relacionados ao ambiente web, 23% aos dispositivos móveis
e 6% relacionados ao ambiente desktop.
Nas pesquisas, quanto à utilização de modelos ou normas de referência para os atributos de
avaliação abordados, tem-se o seguinte cenário:
a) Sem indicação de modelo ou norma de referência: 41,93% dos estudos avaliados
apresentaram uma lista de atributos que foram avaliados, utilizando uma das técnicas
abordadas na Figura 3, em um projeto/produto de software. Entretanto, estes estudos
não indicavam o modelo ou norma de referência do qual os atributos eram
provenientes;
b) Com modelo ou norma de referência adaptado: 32,26% dos estudos avaliados
adaptaram um modelo ou norma de avaliação do qual os atributos eram provenientes.
Neste grupo destaca-se a utilização da ISO9241, heurísticas de Nielsen e ISO25000;
c) Com modelo de referência: 25,81% dos estudos avaliados utilizaram um modelo ou
norma existente na literatura sem alteração ou adaptação. Neste grupo destaca-se a
utilização da ISO9241, heurísticas de Nielsen e Microsoft Usability Guidelines
(MUG).
O cenário encontrado quanto à referência de modelos ou atributos de avaliação apresentada
por este mapeamento, reforça o problema já citado quanto à grande quantidade de estudos
apresentados em que cada autor aborda sua lista específica de atributos e os avalia não relacionando
esta lista com modelos já existentes, adaptando-os ou melhorando-os.
Ainda, verificou-se que estes 31 estudos avaliados não abordam uma estrutura específica
(por exemplo, em modelo de framework ou categorização) para os atributos apresentados. A
estrutura encontrada nestes estudos, quanto à apresentação dos atributos de avaliação da
usabilidade, é em formato de uma simples lista de atributos.
Quanto ao contexto de aplicação dos estudos avaliados, observa-se que a maioria dos
estudos selecionados não indica qual o contexto em que os atributos foram aplicados. Dentre os
estudos avaliados neste mapeamento sistemático: 74,19% dos estudos não deixa explícito qual o
64
contexto de aplicação dos atributos abordados. O restante, 25,81%, utiliza o ambiente
acadêmico/universitário como contexto de aplicação dos atributos abordados. O contexto de
aplicação empresarial não foi utilizado em nenhum dos estudos selecionados neste mapeamento.
Este cenário remete a necessidade de ampliação de pesquisas em relação à avaliação de
características e atributos de usabilidade em contextos empresariais, favorecendo assim a aplicação
de forma prática das pesquisas realizadas.
Durante a avaliação dos artigos selecionados para a extração de dados, foi verificada a
presença de recomendações objetivas para auxiliar a avaliação de características e atributos
apresentados. Porém, o cenário encontrado não é favorável quanto à obtenção de tais
recomendações. Dos 31 artigos avaliados, 83,87% dos artigos não apresentam
métricas/recomendações objetivas de da usabilidade. Somente 16,13% dos estudos avaliados
apresentam algum tipo de recomendação de usabilidade.
Para a extração de informações relacionadas a recomendações e métricas, foram
considerados os 31 estudos obtidos através de mapeamento sistemático mais os 9 estudos obtidos
através da aplicação da técnica snowball. Nestes 40 estudos avaliados, foram encontradas 28
características distintas de avaliação da usabilidade. Destes, tem-se o seguinte cenário de
ocorrências por ambiente de execução:
a) Web: 28 características;
b) Desktop: 05 características;
c) Dispositivos móveis: 11 características.
A Tabela 5 apresenta a lista completa de características e atributos por ambiente de
execução, obtidos através do mapeamento sistemático realizado. Quando encontrados atributos
vinculados a estas características, estes atributos são apresentados em uma segunda coluna, na
mesma linha da característica para a qual pertencem, conforme mostra a Tabela 5.
Foi utilizada a nomenclatura das características e atributos abordados nos estudos com
algumas pequenas adaptações quando uma mesma característica ou atributo era abordado em mais
de um estudo onde apresentavam nomenclatura diferenciada, porém com apresentação do mesmo
conceito.
65
A Tabela 4 apresenta a legenda a ser utilizada para a Tabela 5 com os ambientes de
execução que foram considerados neste mapeamento sistemático da literatura. Na Tabela 5,
juntamente com a nomenclatura de características e atributos, tem-se também a apresentação da
informação das referências que citaram tais características ou atributos (referências são identificas
através da cerquilha (#) concatenados com a numeração da referência bibliográfica utilizada que
constam no Apêndice A. Destas, 31 referências obtidas pelo mapeamento sistemático e 9
referências obtidas pela técnica snowball) facilitando ao leitor encontrar a indicação de qual estudo
abordou quais características e atributos, bem como é possível verificar a quantidade de referências
que cada característica ou atributo possui. Caso uma característica ou atributo foi abordado tanto em
um estudo primário dentre os avaliados, quanto em um estudo obtido pela técnica snowball, ambas
as referências foram adicionadas ao mapeamento da Tabela 5.
Tabela 4. Legenda para mapeamento de características e atributos
Web
Mobile Devices
Desktop
66
Tabela 5. Características e atributos mapeados
Informações Textuais #25 #28 #43
Consistência da interação #39 #3 #28 #41 #43
Gestão de Erros #41 #19
Universalidade #40 #4
Utilidade #40 #4
Carga de Trabalho (Memória) #41 #19 #25 #30
Operacionalidade #41 #19 #36 #4 #7
Adaptabilidade #6 #41 #19 #8 #12 #30 #36 #4 #7Comunidade #8 #12
Refinamento #8 #12
Produtividade #40 #4
Capacidade de Aprendizado #40 #4 #6 #16 #20 #35 #3 #36 #4 #7 #11 #14 #15 #41 #19 #24 #27
Segurança #40 #4 #22 #35 #3 #4 #7 #11 #14 #15 #41 #19 #24 #25 #27
Confiabilidade #40 #4 #16 #22
Acessibilidade #40 #4 #36 #7
Brevidade #41 #19
Minimalista #35 #3 #4 #7 #11 #14 #15 #19 #24 #25 #27
Ajuda #35 #3 #4 #7 #11 #14 #15 #19 #24 #27 #28
Documentação #35 #3 #4 #7 #11 #14 #15 #19 #24 #27
Correção de erros #41 #19
Facilidade de uso #4 #6 #7 #8 #9 #12 #24 #27
Objetivo #8 #12
Estrutura #8 #12
Visibilidade do Estado do Sistema #35 #3 #4 #7 #11 #14 #15 #19 #24 #27
Flexibilidade #35 #3 #5 #7 #11 #14 #19 #24 #27
Dispositivos #43
Multimodal #3
Mapeamento entre sistema e mundo real #35 #3 #4 #7 #11 #14 #15 #19 #24 #27
Liberdade #35 #3 #4 #7 #11 #14 #15 #19 #24 #27
Som #43
Componentes #43
Ícones #28 #43
Eficiência #42 #2 #35 #3 #40 #4 #5 #6 #7 #9 #10 #11 #13 #14 #16 #17 #18 #19 #20 #21 #24 #26 #27 #29 #30 #31 #6 #17
Eficácia #42 #2 #40 #4 #5 #7 #10 #11 #13 #14 #17 #18 #20 #21 #24 #26 #29 #30 #31
Satisfação #42 #2 #40 #4 #5 #6 #7 #10 #13 #14 #16 #17 #18 #20 #21 #24 #26 #29 #30 #31
Comandos #43
Mensagens #43
Janelas #43
Fonte #43
Animações e Transições #43
Elementos gráficos #43
Cores #28 #43
Escopo #30
Importância do código #41 #19
Emoção #8 #12
Promoção #8 #12
Compatibilidade #41 #19
Recursos visuais
Simetria #1
Equilibrio #1
Contraste #1
Interface/Layout #23 #43
Funcionalidade #23
Conteúdo de qualidade #8 #12 #22 #23
Coordenação #23
Padrões #35 #3 #4 #7 #11 #14 #15 #19 #24 #27 #25 #36
Design estético #35 #3 #36 #4 #7 #11 #14 #15 #19 #24 #27 #43
CARACTERÍSTICAS ATRIBUTOSIntegração da Comunicação #22
Controle Do usuário #41 #19 #22 #23 #35 #3 #4 #7 #11 #14 #15 #19 #24 #27
Navegabilidade/Orientação #5 #22 #28 #41 #19
67
Existem diversas formas de avaliar a usabilidade de uma aplicação e, no contexto desta
dissertação, os 31 estudos avaliados foram classificados conforme Figura 4. O resultado deste
mapeamento sistemático mostrou que dentre os estudos avaliados, a técnica da avaliação mais
utilizada foi à aplicação de questionários com os usuários. Trata-se de uma técnica bastante
pertinente tendo em vista que o usuário é a pessoa que mais conhece o software, sendo assim, nada
mais condizente que buscar suas opiniões para orientar revisões de projeto (CYBIS, 2003).
Também foi verificada a quantidade de pessoas envolvidas nas avaliações de usabilidade
dos estudos analisados. Constatou-se que tais avaliações ocorreram ou sobre uma lista de atributos
ou sobre um modelo (composto de características e atributos) de avaliação da usabilidade e a
quantidade de pessoas envolvidas nestas avaliações não obedeceu a um padrão em relação à
quantidade apresentada. Para o grupo de estudos que avaliou uma lista de atributos, tem-se desde
avaliações realizadas por grupos de quatro pessoas até avaliações com grupo composto de 215
pessoas. O mesmo ocorre para o grupo de estudos que avaliou um modelo de usabilidade, tendo-se
desde grupos com sete pessoas até grupo com 179 pessoas envolvidas na avaliação da usabilidade
proposta.
3.2 CONSIDERAÇÕES
O mapeamento sistemático da literatura descrito neste artigo abordou características,
atributos e métricas/recomendações de usabilidade encontradas em cada um dos ambientes de
execução avaliados nas pesquisas entre 2005 e 2012 em quatro bases de dados da área.
Este mapeamento sistemático da literatura tornou ainda mais evidente a grande quantidade
de características e atributos abordados pelos diversos autores nas diversas pesquisas relacionadas à
usabilidade, tendo em vista que se verificou um total de 28 características distintas e 76 atributos
que podem ser utilizados pelos envolvidos com uma avaliação de usabilidade em um dos ambientes
de execução citados.
A grande quantidade de características e atributos de avaliação da usabilidade também é
diversificada quando verificados estudos de avaliação para um mesmo ambiente de execução.
Dentre os estudos avaliados, não foi encontrado um padrão ou um conjunto de características e
atributos únicos para avaliação dentre os vários autores que verificam ambientes de execução
específicos.
68
Poucos estudos apresentam métricas ou recomendações objetivas para apoiar na avaliação
da usabilidade. Dentre os 40 estudos avaliados (31 selecionados e 9 adicionados por snowball),
somente cerca de 12,5% apresentam métricas ou recomendações para auxiliar, através de boas
práticas, o desenvolvimento de interfaces.
Dessa forma, a escolha de características e atributos que melhor se aplicam em determinada
avaliação, dentre este diversificado grupo encontrado, não é uma tarefa trivial, tendo em vista que
muitas vezes os envolvidos com a avaliação não possuem conhecimentos necessários na área de
usabilidade que possam auxiliar e facilitar este trabalho de avaliação e, por conseguinte, a melhor
escolha.
Ainda, quando os envolvidos com a avaliação da usabilidade possuem um conjunto de
características e atributos para avaliar, por vezes não fica claro o que e como deve ser avaliada a
interface ou mesmo como a interface deve ser construída para atender determinadas características e
atributos.
Diante deste cenário de complexidade na escolha de características, atributos de usabilidade,
muitas vezes as empresas não aplicam formas de avaliação da usabilidade em seus
projetos/produtos de software por não possuir pessoal especializado que selecione a melhor forma
de avaliação, bem como os melhores atributos para avaliação, produzindo, por vezes softwares com
baixa usabilidade.
Por fim, os resultados obtidos com este mapeamento sistemático deixam ainda mais evidente
a necessidade de um modelo de avaliação da usabilidade que oriente os envolvidos com a avaliação,
apresente orientações objetivas para a avaliação das interfaces e indique o ambiente de execução
para o qual as orientações são válidas. Outro aspecto observado está relacionado a aplicação da
avaliação da usabilidade em contextos empresariais, tendo em vista que o mapeamento sistemático
realizado não retornou nenhum estudo relacionado a este contexto, tem-se a necessidade de
expansão nas pesquisas a fim de gerar uma visão mais ampla da informação relacionada aos
atributos de avaliação da usabilidade.
Por fim, faz-se importante analisar as ameaças inerentes ao processo adotado neste
mapeamento, que consiste, principalmente, no fato de ocorrer o descarte de três estudos por não se
ter acesso aos textos completos. Outra ameaça decorre da condução do mapeamento, a qual foi
69
realizada por apenas um pesquisador, já as etapas de planejamento e discussão envolveram dois
pesquisadores. Para minimizar esta ameaça foi realizada após a conclusão da condução uma análise
dos títulos descartados e, em casos específicos, também do resumo, por um segundo pesquisador
(como forma de revisão). Também se deve considerar que o resultado apresentado restringe-se a
uma string de busca específica em um conjunto de quatro fontes de dados limitado a busca por
termos em inglês. A ampliação dos termos, língua e bases de dados pode revelar novas
características, atributos, métricas e recomendações.
70
4 DESENVOLVIMENTO
A usabilidade de software, criada a partir do contexto de ergonomização de interação, possui
relevante importância para os usuários na execução de suas tarefas. Entretanto, para que a boa
usabilidade de software seja observada, faz-se necessário o desenvolvimento de aplicações que
atendam a padrões de usabilidade. Estes padrões podem ser obtidos através de avaliações de
usabilidade realizadas com o apoio de técnicas, normas, métodos e modelos de avaliação existentes
na literatura. Atualmente, devido a grande importância que a usabilidade de software possui,
existem diversas pesquisas na área que abordam um conjunto variado de técnicas de avaliação, bem
como diversos atributos que podem ser utilizados para averiguar se padrões de usabilidade estão
sendo seguidos. Tais pesquisas evoluíram tanto que atualmente existem atributos de avaliação para
ambientes de execução específicos (Capítulo 2).
De acordo com as pesquisas verificadas e a evidência gerada pelo mapeamento sistemático
realizado (Capítulo 3), muitos atributos de avaliação da usabilidade são comuns a mais de um
ambiente de execução. Com base neste cenário gerado pelas pesquisas, pretende-se verificar
atributos que são aplicáveis (sem distinção) a mais de um ambiente de execução para que possam
ser generalizados, bem como verificar atributos que se aplicam de forma singular a determinado
ambiente de execução para que sejam especializados. Para apoiar neste processo de generalização e
especialização de atributos de usabilidade encontrados na literatura, um framework é proposto.
Frameworks são cada vez mais comuns e importantes (GAMMA et al., 1995).Os
frameworks vêm sendo aplicados no desenvolvimento de softwares já há algum tempo, entretanto, a
definição de framework ainda não é de senso comum. Diversas definições para os frameworks são
encontradas na literatura: Fayad, Schimidt, Johnson (1999) conceituam framework como um design
reutilizável de um sistema de software representado por um conjunto de classes abstratas e pela
forma como suas instancias interagem. Ainda, de acordo com os autores, um framework é o
esqueleto de uma aplicação que pode ser customizada por um desenvolvedor da aplicação. Para
Pinto (2000), um framework é um software parcialmente completo projetado para ser instanciado e
para Mattsson (2000), framework é uma arquitetura desenvolvida com o objetivo de atingir a
máxima reutilização, representada como um conjunto de classes abstratas e concretas, com enorme
potencial de especialização. Por fim, para os autores Pree, Fontoura e Rumpe (2001), framework é
71
uma coleção de diversos componentes independentes com uma cooperação pré-definida entre eles,
com o objetivo de realizar determinada tarefa.
Um framework é uma abstração de um domínio de aplicações (JOHNSON, 1997). Trata-se
de uma aplicação semiacabada que por vezes, pode ser um sistema inteiro ou mesmo um subsistema
que procura descrever os objetos e suas interfaces, fornecendo informações sobre seus fluxos de
controle e mapeando responsabilidades entre os objetos (WIRFS-BROCK; JOHNSON, 1990;
FAYAD; SCHIMIDT; JOHNSON, 1999). Ao desenvolver um framework, busca-se a generalidade
em relação a conceitos e funcionalidades do domínio tratado. É fundamental que a estrutura
produzida seja flexível, isto é, apresente características de alterabilidade e extensibilidade
(CARNEIRO, 2003).
A alterabilidade reflete a capacidade do framework em alterar suas funcionalidades, em
função de uma necessidade específica. É necessária a seleção de soluções de projeto adequadas para
implementação de conceitos gerais de domínio, de modo que a estrutura resultante apresente
alterabilidade requerida. A questão da extensibilidade esta relacionada com a manutenabilidade do
framework. A estrutura de um framework deve ser construída em ciclos iterativos tendo em vista
que a evolução desta estrutura se estende por toda a sua vida útil, pois à medida que é utilizado,
novos recursos podem ser agregados. Na definição de abstrações, deve-se ter a preocupação em
prever futuras atualizações para o framework, inclusive a possibilidade de estender limites do
domínio tratado sem que para isso ocorra grandes mudanças na estrutura, o que por si só já
representa uma grande vantagem (SILVA, 2000).
Ainda, em relação às vantagens obtidas com a utilização de frameworks encontram-se a
modularidade, a extensibilidade e a reusabilidade de elementos (FAYAD; SCHMIDT; JOHNSON,
1999; PINTO, 2000). Ser reusável é a característica de um elemento em ser genérico facilmente
adaptado e reutilizado para criar novas aplicações em diferentes contextos, visando à solução de
problemas similares (FAYAD; SCHMIDT; JOHNSON, 1999). Essa característica é uma pré-
condição para a melhoria da qualidade do software e redução de custos (PREE, 1996). Entretanto,
as vantagens obtidas com a utilização de frameworks vão além da reusabilidade tendo em vista que
quando utilizado um framework, tem-se, tipicamente a incorporação no projeto de uma
padronização das estruturas reutilizadas.
72
Portanto, com base nos conceitos acima citados e nas vantagens que estão relacionadas com
a utilização de frameworks, esta pesquisa aborda o desenvolvimento de um framework utilizado
como ferramenta de apoio à aplicação de práticas de usabilidade em projetos de desenvolvimento de
software através de inspeções por checklist. Este framework fornece atributos que podem ser
inspecionados em cada um dos ambientes de execução contemplados nesta pesquisa, bem como
apresenta questões, métricas e recomendações vinculadas a estes atributos, a fim de apoiar e
facilitar a inspeção da usabilidade durante projetos de desenvolvimento de software, tornando o
trabalho dos envolvidos com inspeções (analistas, gerentes de projeto, etc.), que não
necessariamente são especialistas em ergonomia, menos complexos.
Para especificar as contribuições que o framework proposto irá gerar para os envolvidos com
a inspeção da usabilidade, este capítulo está organizado da seguinte forma: a Seção 4.1 apresenta
um método de desenvolvimento de framework encontrado na literatura, no qual esta pesquisa
extraiu algumas informações; a Seção 4.2 apresenta uma visão geral do framework proposto nesta
pesquisa; a Seção 4.3 especifica a estratégia de abordagem utilizada para a concepção do framework
proposto, composta do processo que originou as informações para os componentes, fontes de
informação para os componentes, conceituação dos componentes utilizados no framework, bem
como regras para a geração do framework proposto; na Seção 4 o framework proposto criado é
apresentado e as práticas para sua instanciação são abordadas; na Seção 4.5 o framework é
instanciado; na Seção 4.6 a ferramenta de apoio é apresentada; na Seção 4.7 a especificação da
ferramenta de framework é realizada através da definição de requisitos funcionais e não funcionais,
bem como alguns itens de escopo que não serão atendidos pelo framework proposto são
apresentados. Por fim, na Seção 4.8 o projeto da ferramenta é apresentado através de diagramas e
tecnologias utilizadas são abordadas.
4.1 VISÃO GERAL DO FRAMEWORK PROPOSTO
Este framework é desenvolvido como um conjunto de componentes que possuem uma
relação pré-definida a fim de elaborar listas de verificação para inspeção da usabilidade via
checklist. A partir de configurações (seleção do ambiente de execução ou seleção de
características/atributos para avaliação), realizadas no framework, listas de verificação poderão ser
instanciadas e adotadas para inspecionar a usabilidade durante projetos de desenvolvimento de
73
software. Essa abordagem de componentes com relações pré-definidas já foi utilizada para
estruturar outros frameworks, como pode ser verificada em Zoucas (2010).
Construído com o intuito de organizar os diversos atributos de usabilidade encontrados nas
pesquisas (para cada ambiente de execução, dentre os contemplados), o framework orienta os
envolvidos com a inspeção da usabilidade, através da apresentação de atributos que deverão ser
considerados na avaliação. O framework foi gerado a partir da abstração de um conjunto de
componentes que juntos irão gerar informações necessárias para a elaboração de listas de
verificação para inspeção da usabilidade via checklist. No framework proposto por Zoucas (2010),
também pode ser verificada a preocupação em gerar orientação para os envolvidos com
desenvolvimento de modelos de capacidade de processo na utilização do framework.
A utilização do framework não depende da premissa de que seus usuários conheçam
previamente os componentes definidos por ele (características, atributos, questões, métricas ou
recomendações). A seleção dos componentes adequados para realizar a avaliação da usabilidade
não é um fator crítico para a aplicabilidade deste método, tendo em vista que os conceitos de cada
componente são detalhados neste projeto. Esta seleção de componentes dependerá do(s) ambiente(s)
de execução que o usuário deseja avaliar bem como, da(s) característica(s) e atributo(s) que deverão
ser avaliados.
O foco do framework não está em definir um conjunto fechado de características e atributos
de avaliação para cada ambiente de execução. O propósito deste framework está em oferecer um
arcabouço de componentes já aplicados na prática para apoiar na definição de atributos para
inspeção da usabilidade em diferentes ambientes de execução.
4.2 ESTRATÉGIA DE DESENVOLVIMENTO DO FRAMEWORK
Para a construção do framework proposto primeiramente foram identificados os ambientes
de execução que iriam fazer parte da pesquisa. Foram inicialmente definidos três ambientes de
execução: web, desktop e dispositivos móveis.
Posterior à definição dos ambientes de execução, realizou-se uma busca e seleção, na
internet, de pesquisas relacionadas com a avaliação da usabilidade, a fim de levantar um escopo
maior de informações acerca da maneira como as avaliações de usabilidade vêm sendo conduzidas
74
pelas pesquisas. Esta busca e seleção retornou um conjunto de estudos que foram avaliados pelo
pesquisador quanto à maneira de conduzir a avaliação da usabilidade (técnicas de avaliação) e os
atributos de usabilidade propostos para a avaliação. Neste ponto da pesquisa, já se fazia evidente a
existência de estudos com a aplicação de um mesmo atributo de usabilidade para ambientes de
execução distintos bem como, a grande diversidade de atributos propostos entre as pesquisas. A
mesma a estratégia, de busca de estudos presentes na literatura acerca do tema da pesquisa do
framework, foi utilizada por Zoucas (2010) na sua proposta de framework.
Com estas informações, uma fundamentação teórica acerca dos atributos de avaliação da
usabilidade considerados nas pesquisas (para os ambientes de execução já citados) foi realizada.
Através desta fundamentação teórica, percebeu-se a existência de pesquisas que abordam atributos
de usabilidade, desde 1977 (verificar seção de “Decomposição da Usabilidade” que apresenta um
mapeamento de atributos, considerados em pesquisas realizadas entre os anos de 1977 e 2012).
Nestas pesquisas foi possível encontrar: listas de atributos, normas de avaliação, métodos e modelos
de avaliação da usabilidade e foi possível constatar a existência de diversos modelos consolidados
de avaliação da usabilidade para ambientes de execução específicos também.
Esta fundamentação teórica realizada reforçou ainda mais a diversidade de atributos de
usabilidade abordados nas pesquisas, mesmo quando verificado um ambiente de execução em
particular e mostrou também que por vezes, alguns atributos possuíam conceitos iguais, porém com
nomenclaturas diferentes.
Como estas pesquisas resultaram na referência a algumas normas de avaliação da
usabilidade, realizou-se um levantamento de informações das principais normais de avaliação que
apresentam atributos de usabilidade. Métodos e modelos de avaliação da usabilidade, que foram
abordados em alguns estudos da fundamentação teórica também foram adicionados como fonte de
informação. Questões para avaliação de atributos de usabilidade também foram encontrados na
fundamentação teórica.
Após este levantamento de informações acerca do cenário encontrado em relação a atributos
de usabilidade, um mapeamento sistemático da literatura foi executado, a fim de obter as pesquisas
realizadas e publicadas nas principais bases de dados entre 2005 e 2012 nos três ambientes de
execução considerados. Este mapeamento sistemático da literatura trouxe consigo atributos de
usabilidade, métricas e recomendações.
75
Com uma lista de atributos gerada a partir de cada uma das 31 referências selecionadas pelo
mapeamento sistemático mais 9 referências obtidas através da técnica snowball, foi realizada a
normalização da informação. A normalização da lista de atributos de cada referência foi feita em
dois momentos. Primeiramente, foram verificadas as referências que apresentam atributos de
usabilidade com conceitos semelhantes, porém com nomenclatura diferenciada. Como o
mapeamento sistemático realizado selecionava apenas pesquisas que apresentassem conceitos para
os atributos apresentados, foi possível realizar esta normalização de informação. Para estes casos
pequenas adaptações nas nomenclaturas foram realizadas para que assim pudesse ser unificado o
atributo.
Algumas referências traziam consigo o conceito de atributo mais geral (que esta pesquisa
nomeou como característica) vinculado a atributos mais específicos. Nestes casos, a normalização
considerou e manteve esta vinculação abordada pela pesquisa. Verificou-se em algumas pesquisas a
presença de métricas e recomendações de usabilidade que foram mapeadas para que posteriormente
pudessem ser utilizadas na montagem do framework proposto.
Assim, ao final da fundamentação teórica e do mapeamento sistemático realizado (ver
passos executados na Figura 5), foi possível identificar os seguintes componentes para a
estruturação do framework: Ambientes de Execução, Características, Atributos, Questões, Métricas
e Recomendações. A seguir, cada um destes componentes é conceituado para esta pesquisa.
76
Figura 5. Atividades realizadas para geração de componentes
Conforme já citado anteriormente, o framework aqui proposto é formado de componentes
que possuem relação pré-definida e que juntos apoiam a elaboração de listas de verificação para
inspeção da usabilidade. Estes componentes foram obtidos baseando-se na necessidade de estruturar
as informações levantadas durante a fundamentação teórica e mapeamento sistemático realizado.
A fundamentação teórica realizada apresentou diversas normas, métodos, modelos de
avaliação da usabilidade, atributos e checklists de avaliação em diversas pesquisas, conforme
detalhado a seguir:
Normas: ISO/IEC 9126 (ISO 9126, 2001), ISO/IEC 25000 (ISO/IEC 25000, 2005) e
ISO 9241 (NBR 9241-11);
Modelos/métodos/Questões: modelo de Boehm, Brown e Lipow (1976), FCM
(Factors, Criteria and Metrics) de Jim McCall (1977), Eason (1984), Nielsen (1993),
Fitzpatrick (2000), Spriestersbach e Springer (2004), MEDE-PROS® (CARNEIRO;
MOURA, 2004), Signore (2005), Signore (2005), modelo QUIM (SEFFAH et al.,
77
2006), Andreatos (2006), Winter, Wagner e Deissenbock (2008), Khan(2008),
ERGOLIST (ERGOLIST, 2008), QI (et al., 2010), Wha (2011), modelo de Nabil,
Mosad e Henfny (2011) e modelo de Madan e Dubey (2012);
Atributos: McCall’s (1977), Booth(1989), Shackel & Richardson(1991), IEEE Std.
1061 (1992), Hix & Hartson(1992), Nielsen(1993), Preece (1994), Wixon & Wilson
(1997), ISO 9241-11(1998), Lecerof & Paternò(1998), Battleson (et al. 2001), ISO
9126-1(2001), Seffah, Donyaee & Kececi (2001), Brinck (et al., 2002), Bass &
John(2003), Campbell & Aucoin(2003), Abran (et al., 2003), Seffah (et al., 2006),
Sauro & Lewis (2009), Alonso-Rios (et al., 2010) e Dubey (et al., 2012);
Checklists de avaliação da usabilidade: Heo (et al. 2009), Oztekin (et al. 2010),
Pinelle & Gutwin (2008) e Oztekin (2011)
Faz-se necessário ressaltar que as referências citadas para “Modelos/métodos/Questões”
foram analisadas objetivando verificar a estrutura da informação para a apresentação de modelos,
métodos e questões, mas que tais referências também apresentam atributos para a avaliação da
usabilidade. O mapeamento sistemático realizado mapeou 31 estudos primários, a partir dos quais
se podem obter os seguintes componentes: atributos, métricas, modelos e recomendações para
avaliar atributos de usabilidade (distribuídos nos três ambientes de execução contemplados pela
pesquisa), conforme apresenta a Tabela 6.
Tabela 6. Estudos primários selecionados por ambiente de execução
DESKTOP
Ahmad, Sulaiman e Johari (2010); Mayz, Curtino, De la Rosa (2012);
DISPOSITIVOS MÓVEIS
Ryan e Gonsalves (2005); Massey, Khatri e Ramesh (2005); Holzinger e Errath (2007); Al-Wabil
(et al., 2010); Vigo (et al., 2010); Oyomno (et al., 2011); Coursaris (et al., 2012);
WEB
Mureen (et al., 2006); Tirapat e Achalakul (2006); Anandhan (et al., 2006); West e Lehman
(2006); Hao-Yun Kao (2007); Conte (et al., 2007); Fang, Holsapple (2007); Massey, Khatri e
Montoya-Weiss (2008); Granic, Mitrovic e Marangunic (2008); Schreiber (et al. 2008); Talarico
Neto (et al. 2009); Delice e Güngör (2009); Conte et al. (2009); Fernandez, Abrahão e Insfran
(2010); Yusof, Khaw e Ch’ng (2010); Freeman e Bowden (2010); Lindgaard (et al. 2011); Davis
e Shipman (2011); Oztekin (2011); Fernandez (et al. 2012); Punchoojit e Chintakovid (2012);
Fernandez, Abrahão, Insfran (2012);
78
No mapeamento sistemático realizado, a técnica de snowball (JALALI; WHOLIN, 2012) foi
utilizada e resultou em mais nove pesquisas relacionadas com a apresentação de atributos, métricas,
modelos, recomendações de usabilidade: Bastien e Scapin (1993), Nielsen (1995), Keeker (1997),
ISO9241 (1998), Raman (2003), Reeves (2004), ISO25000 (2005), Fernandez et al. (2010). A
Figura 6 sintetiza as fontes de informação utilizadas para a concepção do framework proposto (As
referências citadas utilizando-se de colchetes e cerquinha, exemplo: [#1], encontram-se no
Apêndice A).
Figura 6. Fontes de informação para concepção do framework
4.2.1 Conceituação de componentes do framework
A versão atual do framework proposto é formada de seis componentes conceituados a
seguir:
1. Ambientes de execução: o framework proposto define ambiente de execução como o
local (físico e lógico) em que a aplicação de software é executada. Um ambiente de
execução é constituído de um conjunto de variáveis específicas e, portanto, possui
particularidades inerentes a sua organização, que podem também ser chamadas de
propriedades contextuais. Trata-se do local em que os utilizadores efetuam a
interação com o sistema;
79
2. Características: representam uma visão mais abrangente da qualidade de informação
relacionada com a usabilidade. As características são aspectos que esta pesquisa
definiu como uma espécie de agrupamento de atributos mais granulares relacionados
com a usabilidade. Características, no contexto desta pesquisa, podem também ser
consideradas como uma espécie de atributos de qualidade de software de ordem
superior que podem ser decompostas em vários atributos mais específicos. Uma
característica deve ser dividida em pelo menos um atributo;
3. Atributos: representam a informação relacionada com a usabilidade de maneira mais
especifica e granular. Na estrutura deste framework, um atributo pode ser avaliado
por questões de usabilidade específicas e poderá ter também métricas e
recomendações relacionadas a ele;
4. Questões: são perguntas relacionadas ao atributo que está sendo avaliado;
5. Métricas: o conceito de métrica está relacionado com a identificação e medição dos
principais parâmetros que afetam o atributo de usabilidade verificado. No contexto
deste framework, métricas aplicadas à usabilidade referem-se à obtenção de
indicadores quantitativos relacionados à facilidade de utilização de um objeto, são
utilizadas para a avaliação do atributo de forma mais objetiva;
6. Recomendações: orientam o desenvolvimento/avaliação de interface através de boas
práticas, como por exemplo: disposição/estrutura de menu, padrão de apresentação
para links, cor de fonte para textos, etc.
Atualmente, esta é à base de componentes do framework proposto, gerado objetivando
atender a extensões futuras sem que para isso seja necessário alterar sua estrutura.
4.2.2 Procedimentos para geração do framework proposto
A partir da componentização realizada sobre a informação, estabeleceram-se algumas regras
para associações entre os componentes abordados:
R1. Não se faz obrigatória a vinculação de um atributo a uma característica;
R2. A criação de uma característica necessita da vinculação de no mínimo um atributo;
80
R3. Um atributo obrigatoriamente estará vinculado a no mínimo um ambiente de execução;
R4. Um ambiente de execução poderá estar vinculado a mais de um atributo;
R5. Uma questão é criada a partir da vinculação de um atributo a um ambiente de execução;
R6. Uma métrica obrigatoriamente estará vinculada a uma questão;
R7. Uma recomendação obrigatoriamente estará vinculada a uma questão;
R8. Uma questão poderá ter mais de uma métrica;
R9. Uma questão poderá ter mais de uma recomendação;
R10. A remoção de uma questão irá remover métricas e recomendações vinculadas a ela.
A Figura 7 apresenta a estruturação de relacionamento entre os componentes mapeados para
este framework.
Figura 7. Estrutura de relacionamento entre componentes do framework
81
Esta estrutura componentizada de informações, estruturada para atender ao framework
proposto, somente foi possível devido à existência de informações para cada componente. Assim,
faz-se necessário informar as fontes de informação utilizadas nesta pesquisa:
1. Ambiente de execução: estabelecido no escopo desta pesquisa;
2. Característica/Atributo: as características e atributos utilizados nesta pesquisa tem
origem a partir de quatro fontes principais fontes:
1. Fundamentação teórica realizada, na qual se verificou (sem método cientifico de
busca) 21 estudos gerados entre 1977 e 2012 que apresentar 42 atributos
distintos. É importante destacar que nesse momento não foi realizada
normalização de atributos (ou seja, avaliação dos casos em que o conceito é
semelhante, porém a nomenclatura é distinta);
2. Mapeamento sistemático realizado a partir dos 31 estudos selecionados nas bases
de dados, mais 9 estudos obtidos pela técnica snowball, que retornaram 28
características e 76 atributos distintos;
3. Ergolist: retornou um total de 18 atributos;
4. MED-PROS®: retornou um total de 3 características para a usabilidade,
composta de 7 atributos.
3. Questão: questões para avaliação de atributos foram encontradas na fundamentação
teórica realizada, também foram encontradas questões através do método de avaliação
MEDE-PROS® (CARNEIRO;MOURA, 2004) e do checklist ERGOLIST (ERGOLIST,
2008). Por fim, a revisão informal acerca de checklists de usabilidade realizada na
ferramenta Google Scholar também forneceu questões para a composição do framework;
4. Métrica: as métricas utilizadas foram encontradas no mapeamento sistemático realizado,
a partir da referência Davis e Shipman (2011);
5. Recomendação: as recomendações utilizadas foram encontradas na fundamentação
teórica, através do checklist ERGOLIST e MED-PROS®, no mapeamento sistemático
82
realizado, a partir das referências: Keeker (1997), Talarico Neto (et al., 2009),
Fernandez, Insfran e Abrahão (2009), Oztekin (2011) e em Microsoft(2013).
4.3 FRAMEWORK PROPOSTO
O framework proposto possui atualmente seis componentes relacionados entre si. Para
adicionar informações ao repositório deste framework o estudo deverá ser validado, através do
cumprimento de três regras de informação:
1. Abordagem de no mínimo um atributo;
2. Conceituação para o(s) atributo(s) abordado(s);
3. Especificação do ambiente de execução utilizado para avaliar atributo(s) no estudo.
A estratégia de instanciação do framework é detalhada através de cada uma das práticas de
instanciação descritas a seguir.
P1. Ambiente de execução: esta prática relaciona-se com a identificação no framework, do
ambiente de execução utilizado no estudo a ser inserido. A identificação do ambiente de execução
norteia o mapeamento das demais informações que serão adicionadas. A Figura 8 apresenta o fluxo
de atividades que deverão ser verificadas para esta prática. É importante destacar que, devido a
flexibilidade de extensão do framework, caso o ambiente de execução do estudo a ser inserido ainda
não se encontra no repositório do framework, poderá ser incluído.
83
Figura 8. Validação da prática P1 – Seleção de Ambiente de execução.
P2. Característica/Atributo: a execução da prática P2 tem como pré-requisito a execução
da prática P1 e estabelece as validações necessárias para inclusão de informações relacionadas às
características e atributos, obtidas no estudo que está sendo inserida no repositório de informações
do framework. A Figura 9 contém atividades que deverão ser verificadas para esta prática. Neste
passo da instanciação, até quatro tipos de informação podem ser inseridas no framework proposto:
1. Atributo: inclusão do atributo e sua conceituação no repositório;
2. Característica: inclusão da característica e sua conceituação no repositório;
3. Atributo X Ambiente de execução: inclusão de relação de vinculação entre o atributo
e o ambiente de execução (abordado no estudo que está sendo incluído);
4. Característica X Atributo: inclusão de relação de vinculação entre característica e
atributo (abordado no estudo que está sendo incluído).
84
Figura 9. Validação da prática P2 - Características e Atributos.
85
P3. Questão: a execução da prática P3 tem como pré-requisito a execução da prática P2 e
estabelece as validações necessárias para inclusão de questões, obtidas no estudo que está sendo
inserida no repositório de informações do framework. A Figura 10 contém atividades que deverão
ser verificadas para esta prática. Neste passo da instanciação, até dois tipos de informação podem
ser inseridas no framework proposto:
1. Questão: inclusão da questão;
2. Questão x ambiente de execução/atributo: inclusão de relação de vinculação entre a
questão e o ambiente de execução/atributo (inferido no estudo que está sendo
incluído).
Figura 10. Validação da prática P3 - Questão.
86
P4. Recomendação/Métrica: a execução da prática P4 tem como pré-requisito a execução
da prática P3 e estabelece as validações necessárias para inclusão de recomendações ou métricas
para uma questão. A Figura 11 contém atividades que deverão ser verificadas para esta prática.
Neste passo da instanciação, até dois tipos de informação podem ser inseridas no framework
proposto:
1. Recomendação/métrica: inclusão da recomendação ou métrica no framework;
2. Recomendação/métrica x Questão: inclusão de relação de vinculação entre a
recomendação ou métrica e a questão (inferido no estudo que está sendo incluído).
Figura 11. Validação da prática P4 – Recomendações/Métricas.
87
4.4 INSTANCIAÇÃO DO FRAMEWORK PROPOSTO
Nesta seção, pretende-se a apresentar a instanciação do framework proposto, avaliando desta
forma à aplicação das práticas de instanciação citadas na seção anterior com alguns estudos.
Conforme já citado no início da seção anterior, para que seja possível a instanciação do framework
proposto, o estudo deverá respeitar algumas regras de validação específicas.
O primeiro exemplo utilizado será um dos estudos do mapeamento sistemático, identificado
como #8 Este estudo foi obtido através de seleção pelo mapeamento sistemático realizado. O estudo
intitulado: “From the Web to the Wireless Web: Technology Readiness and Usability” dos autores
Anne P. Massey, Vijay Khatri e V. Ramesh da Indiana University aborda a interface de aplicações
mobile e tem interesse em entender como a disponibilidade de tecnologia para os consumidores
afeta avaliações de usabilidade.
Para a inserção deste estudo ao repositório do framework, as práticas já citadas na seção
anterior serão seguidas. Considerando que no momento atual o framework possui em seu
repositório os ambientes de execução Web e Desktop, a prática 1 será utilizada para a inserção do
ambiente de execução: Dispositivos móveis. Conforme citado, a situação atual do framework conta
com dois ambientes de execução, conforme pode ser verificado na Figura 12:
Figura 12. Situação atual do framework proposto
A P1. Ambiente de execução é executado o fluxo descrito anteriormente na Figura 10 é
iniciado. O ambiente de execução abordado na pesquisa é obtido: dispositivos móveis. A avaliação
atual do framework estabelece que este ambiente de execução deverá ser adicionado ao framework.
A Figura 13 apresenta o estado do framework após a aplicação da prática P1. O fluxo chega ao seu
final em "FimPratica P1".
88
Figura 13. Adição de ambiente de execução ao framework proposto
Posteriormente a P2. Característica/Atributo é iniciada. Neste estudo, tem-se a seguinte
estrutura de características e atributos: Característica “Facilidade de Uso”, composta dos atributos:
feedback, objetivo e estrutura; Característica “Adaptabilidade”, composta dos atributos:
personalização, comunidade e refinamento;
O fluxo obtém a lista de características e atributos para este estudo. Como se pode verificar
existem desdobramentos de atributos, ou seja, têm-se atributos compostos de atributos mais
específicos. Conforme se verificou, o ambiente de execução acabou de ser inserido no repositório
do framework e, portanto, não possui as características da Facilidade de Uso e Adaptabilidade
citada acima, que deverão ser inseridas juntamente com seus atributos mais específicos. A Figura 14
apresenta o estado do framework após a inserção de características e atributos do estudo após a
execução da P2. O fluxo chega ao seu final em "FimPratica P2".
Figura 14. Adição de características e atributos ao framework proposto
Em continuação a execução do processo de instanciação do framework, as práticas P3 e P4
foram instanciadas pelo pesquisador, porém não retornaram informações relacionadas a questões,
recomendações ou métricas.
Faz-se necessário destacar que quando encontradas características ou atributos que
referenciam recursos específicos (como por exemplo: reconhecimento de voz ou interfaces
89
multimodais), será associado a esta característica ou atributo uma ou mais marcações indicando
para qual (is) recurso(s) específico(s) se aplica. O objetivo da inclusão desta informação esta em
orientar os inspetores em como chegar a características e atributos específicos para determinado
recurso. Como trabalho futuro, pode-se adicionar a necessidade de programar uma funcionalidade
de filtro para que seja possível para o inspetor, no momento da geração do checklist, configurar a
informação de recurso específico, como forma de consulta para apresentação de características e
atributos para inspeção.
Neste formato passo-a-passo (como exemplificado em algumas práticas acima), um conjunto
de cinco estudos foi avaliado (envolvendo no mínimo um de cada ambiente de execução dos
contemplados na pesquisa) a fim de verificar se as práticas propostas atendem ao escopo necessário
de informações. Os estudos utilizados estão identificados na Figura 15.
Execução
ID (Mapeamento)
Autor(es)
Título
Ambiente de Execução
Execução
ID (Mapeamento)
Autor(es)
Título
Ambiente de Execução
Execução
ID (Mapeamento)
Autor(es)
Título
Ambiente de Execução
Execução
ID (Mapeamento)
Autor(es)
Título
Ambiente de Execução
Execução
ID (Mapeamento)
Autor(es)
Título
Ambiente de Execução
Web usability testing – CARE methodology
Web
4
#21
Marianella Aveledo Mayz, Diego Mauricio Curtino, Agustín De la Rosa
Avoiding laboratories to collect usability data: two software applications
Desktop
Wan Fatimah Wan Ahmad, Suziah Sulaiman, Farah Syahidah Johari
Usability Management System (USEMATE): A Web-Based Automated System for Managing Usability
Testing Systematically
Desktop
5
#9
Arthi Anandhan, Senthil Dhandapani, Hassan Reza, Karthik Namasivayam
#8
Dispositivos Móveis
#3
Americo Talarico Neto, Thiago Jabur Bittar, Renata P. M. Fortes, Katia Felizardo
Developing and evaluating Web multimodal interfaces - a case study with Usability Principles
Web
3
#18
From the Web to the Wireless Web: Technology Readiness and Usability
Anne P. Massey, Vijay Khatri, V. Ramesh
1
2
Figura 15. Identificação de estudos utilizados para teste de instanciação com o framework
A instanciação do framework para este conjunto de estudos gerou diversas informações
como pode ser verificado na Tabela 7 e alimentou a estrutura de componentes do repositório do
framework conforme apresenta a Figura 16.
90
Tabela 7. Quantidade de informações por componente
Componente Quantidade
Ambiente de execução 3
Características 4
Atributos 31
Relação Característica x Atributo 12
Relação Ambiente de Execução x Atributo D. Móveis:13 / Web:16 / Desktop:3 /Total:32
Questões D. Móveis:0 / Web:9 / Desktop:0 / Total:9
Recomendações D. Móveis:0 / Web:2/ Desktop:0 / Total:2
É importante destacar que as características, atributos e questões, apresentadas na Figura 16,
foram criados a partir da instanciação de cinco estudos de teste utilizados por esta pesquisa.
Entretanto, ao longo das inserções dos demais estudos no framework proposto, nomenclaturas e
descrições de questões podem ter sofrido alterações. O mesmo se aplica a vinculações realizadas
entre características e atributos e entre atributos e questões apresentadas.
A alteração de nomenclaturas, vinculações ou de ajustes em descrições de questões ocorre
devido ao crescimento normal de fontes de informação existentes no framework e, portanto, estes
ajustes se fazem necessários para atender a um escopo maior de fontes de informação. A cada
inserção de dados no framework referente a novos estudos poderão ocorrer alterações de
nomenclatura ou de vinculações que serão adaptadas com o objetivo de melhor atender as
avaliações de usabilidade.
91
AMBIENTE DE EXECUÇÃO CARACTERÍSTICA ATRIBUTO
[#8] Relevância
[#8] Uso da Mídia
[#8] Profundidade
[#8] Conteúdo Apropriado
[#8] Objetivos
[#8] Estrutura
[#8] Feedback
[#8] Comunidade
[#8] Personalização
[#8] Refinamento
[#8] Desafio
[#8] Ritmo
[#8] Promoção
[#8] Relevância
[#8] Uso da Midia
[#8] Profundidade
[#8] Conteúdo Apropriado
[#8] Objetivos
[#8] Estrutura
[#8] Feedback
[#8] Comunidade
[#8] Personalização
[#8] Refinamento
[#8] Desafio
[#8] Ritmo
[#3] Visibilidade do Estado do Sistema
[#3] Mapeamento entre o Sistema e o Mundo Real
[#3] Liberdade
[#3] Controle ao Usuário
[#3] Consistência
[#3] Padrões
[#3] Prevenção de erros
Questão: [#3] A utilização de sistemas de interface multimodal pode favorecer o surgimento de erros quando comparado com
sistemas de interface gráfica habitual? (A principal característica de uma sistema multimodal é a sua capacidade em combinar
diferentes tipos de entradas individuais, processa-las utilizando uma técnica de integração e retornar um resultado contendo algum
signif icado específ ico para a aplicação)
Questão: [#3] O sistema permite que o usuário possa reverter uma ação realizada?
[#3] Reconhecer em vez de relembrar
Questão: [#3] Na utilização do sistema, é possível perceber a maneira como cada tipo de w idget da interface pode ser utilizada?
Questão: [#3] Na utilização de sistemas de interface multimodal, é apresentado alguma representação visual para auxiliar na
identif icação do modo como a interação deve ocorrer? (A principal característica de uma sistema multimodal é a sua capacidade em
combinar diferentes tipos de entradas individuais, processa-las utilizando uma técnica de integração e retornar um resultado contendo
algum signif icado específ ico para a aplicação)
[#3] Flexibilidade
[#3, #18, #21, #9] Eficiência
[#3] Design estético
[#3] Minimalista
[#3] Gestão de Erros
Questão: [#3] As mensagens de erro são apresentadas em uma linguagem não técnica?
Questão: [#3] As mensagens de erro sugerem alguma solução?
Questão: [#3] Em interfaces apoiadas por voz, as mensagens de ajudam facilitam a interação com o sistema?
Recomendação: [#3] Mensagens de ajuda, em interfaces de voz, devem apresesentar possiveis enunciados reconhecidos pela
gramática, para facilitar a interação.
Questão: [#3] São utilizados recursos de sistema (contador de erros, distinção de tipos de erro, etc) para a apresentação de
mensagens de sistema mais adequadas?
Recomendação: [#3] O sistema poderia usar o recurso de contador de erros e a distinção dos tipos de erros, disponível na
tecnologia de reconhecimento de voz, para proporcionar mensagens de sistema mais adequadas, facilitando a recuperação de uma
ação caso ocorra algum erro ou mesmo facilitar o entendimento do que deve ser feito para uma tarefa que gerou erro.
[#3] Ajuda
Questão: [#3] A ajuda por comando de voz presta a assistência necessária na interação com o sistema?
Questão: [#3] A informação de ajuda do sistema é fácil de ser acessada?
Questão: [#3] A informação de ajuda é focada para o usuário do sistema?
[#3] Documentação
[#9] Facilidade de Uso
[#18, #21] Eficácia
[#18, #21] Satisfação
[#18, #21] Eficiência
[#18, #21] Desktop
[#3, #9] Web
[#8] Dispositivos
Móveis
[#8] Conteúdo de
Qualidade
[#8] Facilidade de
Uso
[#8] Feito para o
Meio
[#8] Emoção
Figura 16. Informações geradas a partir das cinco instanciações do framework
92
4.5 FERRAMENTA DE APOIO
Através da conceituação dos componentes (realizada na Seção 4.2.1), das regras para a
geração do framework (na Seção 4.2.2) e das relações estabelecidas entre os componentes (como
pode ser verificado na Figura 7) é possível identificar as contribuições desejáveis em uma
ferramenta que atenda ao conceito de framework, com o objetivo de fornecer apoio na gestão de
atributos por ambiente de execução e obter a estrutura de informação necessária para aplicar os
conceitos de generalização (para os atributos comuns a mais de um ambiente de execução) e
especialização (para os atributos específicos de um ambiente de execução) aos atributos de
usabilidade encontrados nas pesquisas.
Além das contribuições citadas, a ferramenta fornece ao usuário funcionalidades para
impressão/geração (em tela) de checklists para inspeção da usabilidade a partir de configurações de
informação realizadas no próprio framework (por exemplo, selecionando o(s) ambiente(s) de
execução que deseja avaliar atributos ou selecionando os atributos que deseja avaliar). Conforme já
citado, a automatização de uma ferramenta com o conceito de framework é benéfica tendo em vista
que além de apoiar na gestão de atributos de usabilidade, fornece também o gerenciamento de
outras informações acerca destes atributos (características, questões, recomendações, métricas, etc.)
e fornecer também uma visão mais ampla dos atributos em vários ambientes de execução.
4.6 ESPECIFICAÇÃO DA FERRAMENTA
A componentização de informações relacionadas a atributos de avaliação da usabilidade
apresentadas na abordagem do framework proposto neste estudo servem de fundamento para a
especificação dos requisitos funcionais e não funcionais da ferramenta computacional de apoio à
condução de inspeções da usabilidade por checklist.
4.6.1 Requisitos Funcionais
A fim de descrever as funcionalidades adequadas para a ferramenta de apoio ao framework,
os requisitos foram especificados. Abaixo são descritas as funcionalidades da ferramenta
compreendidas em duas principais fases: a gestão de informações para os componentes do
framework, utilizadas por usuários do tipo “Administrador” e a geração de execuções (cheklists)
para inspeções de usabilidade, utilizadas por usuários do tipo “Inspetor”. São descritas as
93
funcionalidades da ferramenta, entradas e saídas de dados, além de comportamentos específicos que
definem o sistema. A seguir, têm-se os requisitos funcionais da ferramenta computacional,
subdivididos de acordo com a função que exercem.
Requisitos Gerais compreende as funcionalidades fundamentais a um sistema computacional
multiusuário, mesmo não atendendo nenhuma funcionalidade do framework quanto à gestão da
informação ou geração de listas de verificação da avaliação da usabilidade. O Quadro 2 apresenta os
requisitos gerais da ferramenta.
Quadro 2. Requisitos Gerais
ID DESCRIÇÃO
RF 1.1 Autenticação/Login do Usuário
Um usuário deve ser capaz de autenticar-se (login) em uma interface de autenticação,
utilizando de login e senha previamente cadastrada.
Não será armazenado histórico de login para os acessos.
RF 1.2 Cadastro de Usuário
Será possível registrar uma pessoa como Usuário, através de um formulário de registro.
Informações sobre o usuário deverão ser mantidas:
(i) código
(ii) nome
(iii) email
(iv) login
(v) senha
(vi) perfil de acesso
(vii) status
Cada usuário é identificado através do login.
O login deverá ser único na base de dados.
A senha deverá ser do tipo alfanumérica de 8 dígitos.
Cada usuário terá a identificação do perfil a qual pertence, sendo possível para
determinado usuário estar vinculado a apenas um perfil.
Requisitos para gestão de informações de componentes do framework compreendem as
funcionalidades necessárias para a gestão de informações de componentes utilizados pelo
framework proposto para posterior geração da lista de atributos para a inspeção da usabilidade. O
Quadro 3 apresenta os requisitos de gestão de informações dos componentes da ferramenta.
94
Quadro 3. Requisitos para gestão de informação de componentes
ID DESCRIÇÃO
RF 2.1 Manter Ambiente de Execução
O sistema deve armazenar as seguintes informações sobre um ambiente de execução:
(i) código
(ii) descrição
RF 2.2 Manter Característica
O sistema deve armazenar as seguintes informações sobre uma característica:
(i) código
(ii) descrição
(iii) conceituação
(iv) recurso específico
(vi) lista de referências
RF 2.3 Manter Atributo
O sistema deve armazenar as seguintes informações sobre um atributo:
(i) código
(ii) descrição
(iii) conceituação
(iv) recurso específico
(v) lista de referências
RF 2.4 Manter Questão
O sistema deve armazenar as seguintes informações sobre uma questão:
(i) código
(ii) descrição
(iii) lista de referências
RF 2.5 Manter Recomendação
O sistema deve armazenar as seguintes informações sobre uma recomendação:
(i) código
(ii) descrição
(iii) lista de referências
RF 2.6 Manter Métrica
O sistema deve armazenar as seguintes informações sobre uma métrica:
(i) código
(ii) descrição
(iii) lista de referências
RF 2.7 Manter Vinculação de Característica e atributo
O sistema deve armazenar as seguintes informações sobre a vinculação realizada entre
um atributo a uma característica:
(i) característica
(ii) atributo
(iii) lista de referências
RF 2.8 Manter Vinculação de Ambiente de Execução e Atributo
O sistema deve armazenar as seguintes informações sobre a vinculação realizada entre
um atributo a um ambiente de execução:
(i) ambiente de execução
(ii) atributo
(iii) lista de referências
95
RF 2.9 Manter Vinculação de Questão para a relação de Característica, Atributo e
Ambiente de Execução
O sistema deve armazenar as seguintes informações sobre a vinculação realizada entre
uma questão e a relação desta com característica, atributo e ambiente de execução:
(i) ambiente de execução
(ii) característica
(iii) atributo
(iv) questão
(v) lista de referências
RF 2.10 Manter Vinculação de Questão e Métrica
O sistema deve armazenar as seguintes informações sobre a vinculação realizada entre
uma métrica e uma questão:
(i) questão
(ii) métrica
(iii) lista de referências
RF 2.11 Manter Vinculação de Recomendação para a Questão
O sistema deve armazenar as seguintes informações sobre a vinculação realizada entre
uma recomendação e uma questão:
(i) questão
(ii) recomendação
(iii) lista de referências
Requisitos para gestão de execuções de inspeção da usabilidade via sistema compreendem as
funcionalidades necessárias para a geração de execuções de checklist para inspeção da usabilidade,
executados via sistema. A ferramenta deverá apresentar em tela o checklist gerado para que o
inspetor possa realizar seu preenchimento via sistema. O Quadro 4 apresenta os requisitos para
gestão da execução.
Quadro 4. Requisito para gestão de execuções
ID DESCRIÇÃO
RF 3.1 Execução de inspeção da usabilidade
Deve haver uma função que permita a geração de uma execução de checklist via
sistema.
A execução de checklist será gerada a partir de configurações realizadas pelo usuário.
As configurações para a geração do checklist compreendem:
1º passo: preenchimento de dados de execução
2º passo: seleção de atributo(s) que serão avaliados de acordo com o ambiente de
execução do sistema que será avaliado.
O sistema deverá armazenar a execução gerada, bem como as respostas indicadas pelo
inspetor para cada questão. O checklist gerado poderá ser executado via sistema web.
Para cada questão de cada atributo apresentado na execução de checklist, o sistema
96
deverá apresentar as seguintes opções de resposta:
S - “Sim”
N - “Não”
“NA” – Não Se Aplica
“AP” – Avaliação Prejudicada
Além disso, deverá estar disponível, para cada questão de cada atributo, um campo
para que o usuário possa inserir observações e/ou comentários acerca de sua resposta.
4.6.2 Requisitos Não Funcionais
Declara as restrições relacionadas aos requisitos funcionais da abordagem proposta e
especificam particularidades para implementação de um sistema. O Quadro 5 apresenta os
requisitos não funcionais da ferramenta.
Quadro 5. Requisitos não funcionais
ID DESCRIÇÃO
RNF 1 A aplicação será desenvolvida no padrão MVC (Model-View-Controler).
RNF 2 A aplicação será desenvolvida utilizando a linguagem de programação Java.
RNF 3 O sistema deverá ser desenvolvido com componentes JSF (Java Server Faces).
RNF 4 A aplicação irá utilizar base de dados MySQL.
RNF 5 A aplicação será desenvolvida para utilização no sistema operacional Windows.
RNF 6 A aplicação será desenvolvida para utilização no Navegador Chrome.
RNF 7 O sistema deverá armazenar na base de dados às respostas inseridas para cada questão,
no momento da transição de atributos.
RNF 8 A aplicação irá fornecer documentação on-line somente acerca dos seguintes conceitos:
Ambiente de execução, Característica, Atributo, Questão, Métrica, Recomendação,
Disciplina do projeto que está sendo avaliado, Papel do inspetor dentro do projeto que
está sendo avaliado.
RNF 9 A geração da lista de verificação para inspeção da usabilidade por checklist, quando
realizada de forma manual e não via sistema, será em no formato PDF.
4.6.3 Escopo Não Atendido Pelo Framework Proposto
Não está contemplado no escopo de desenvolvimento de funcionalidades desta ferramenta
processo de desenvolvimento e/ou adaptação para uma língua e cultura de um país específico, ou
seja, internacionalização ou localização. Quanto ao uso da ferramenta, não está contemplado, nesta
versão inicial, o desenvolvimento de interface compatível com dispositivos móveis, ficando restrita
ao navegador Chrome, conforme já citado. Não será criado instalador para a ferramenta. Por fim,
não será criado material de treinamento para os usuários da ferramenta.
97
4.7 PROJETO DA FERRAMENTA
A partir da identificação dos requisitos funcionais, elaborou-se o projeto de
desenvolvimento da ferramenta computacional: Framework de Usabilidade - uma ferramenta
automatizada para apoiar a aplicação de práticas de usabilidade em projetos de desenvolvimento de
software. Utilizou-se um modelo de dados para apresentar o sistema proposto, conforme ilustra a
Figura 17. Este diagrama permitiu a criação do banco de dados que contempla a estrutura da
ferramenta Framework de Usabilidade.
Na Figura 17, a primeira coluna é composta pelas tabelas que armazenam os
componentes primários que formam o framework proposto, ou seja: ambiente, atributo,
característica, métrica, questão e recomendação. A segunda coluna de tabelas é formada pelas
vinculações existentes, ou seja: a relação de um ambiente de execução com um atributo, a relação
de uma característica com um atributo, a relação de um ambiente com um atributo e uma questão e,
por fim, as possíveis relações de uma questão com uma métrica e uma questão relacionada com
uma recomendação. Ao final, na terceira coluna tem-se a tabela que armazena os possíveis usuários
que utilizam o checklist, as execuções de checklist e as respostas informadas em cada execução.
98
Figura 17. Modelo de dados da ferramenta
99
Este diagrama esquemático permitiu a criação do banco de dados que contempla a estrutura
da ferramenta Framework de usabilidade. A implementação das classes realiza o comportamento do
framework proposto além de automatizar o processo de inspeção por checklist.
4.7.1 Tecnologias Utilizadas no Framework Proposto
Para o desenvolvimento da ferramenta foram utilizadas diversas tecnologias: a
implementação foi realizada com a linguagem de programação Java. Na implementação foi
utilizado também JSF (Java Server Faces), um framework MVC baseado em Java. A utilização
deste framework apoia a construção de interfaces de usuário baseadas em componentes para
aplicações web.
O JSF possui um modelo de programação dirigido a eventos, abstraindo os detalhes da
manipulação dos eventos e organização dos componentes, permitindo que o programador se
concentre na lógica da aplicação. Essas características resultaram em um software de plataforma
web, disponível de forma online, para ser utilizado por diversos envolvidos com a aplicação de
práticas de usabilidade em projetos de desenvolvimento de software.
Os dados modelados de acordo com o modelo de dados apresentado na Figura 17 são
mantidos em uma estrutura MySQL, um sistema de gerenciamento de banco de dados que utiliza
SQL (linguagem de consulta estruturada, do inglês: Structured Query Language). Por tratar-se de
um banco de dados bem difundido, o MySQL foi adotado por contemplar recursos para consultas
complexas, possuir desempenho e estabilidade adequados, ser de fácil manuseio e possuir controle
transacional.
Para a modelagem do framework também foi utilizada a ferramenta Enterprise Architect, um
ambiente de modelagem que contempla o pleno desenvolvimento do ciclo de vida do produto,
ferramentas para modelagem de negócios, engenharia de sistemas, arquitetura corporativa,
gerenciamento de requisitos, projeto de software, geração de código, etc.
As tecnologias acima citadas foram selecionadas a fim de atender os seguintes critérios:
suporte a fase de gerenciamento e armazenamento de informações relacionadas aos dados obtidos
nas pesquisas avaliadas a fim de alimentar os componentes que formam o framework, participação
de diversos avaliadores na execução de checklists de usabilidade, disponibilidade da ferramenta
100
para a comunidade de pesquisa; além de fundamentar-se em tecnologias open-source, que favorece
a distribuição livre da ferramenta e a criação de trabalhos derivados.
4.8 DEMONSTRAÇÃO DA FERRAMENTA
Com base no modelo de framework proposto na Seção 4.3, a ferramenta Framework de
Usabilidade permite, tanto a manutenção de usuários que possam participar como avaliadores na
condução de inspeções de usabilidade utilizando o checklist proposto, bem como a gestão dos
componentes utilizados para a estruturação do framework e a própria execução de checklist.
Dois perfis de usuários foram criados a fim de atender e disponibilizar funcionalidades
específicas acerca do framework de acordo com o perfil. Através de um login individual, o usuário
que possui acesso à ferramenta como Administrador poderá realizar a gestão de novos usuários
(através do menu “Acesso”), cadastrar componentes (através do menu “Componentes”), realizar as
respectivas vinculações entre os componentes (através do menu “Vínculos”), bem como realizar as
avaliações de checklist (através do menu “Checklist”).
A Figura 18 ilustra a tela inicial apresentada para o usuário pós login, com todos os menus
que este perfil de usuário tem acesso. Caso o usuário acessar a ferramenta com perfil de avaliador,
somente poderá realizar avaliações de checklist (através do menu “Checklist”).
Figura 18. Tela inicial – acesso administrador
101
A partir do acesso ao sistema, o usuário logado, com perfil de administrador, poderá
cadastrar diversos componentes e vincula-los entre si, conforme regras de estruturação do
framework, para posteriormente utilizar essas informações na geração de um checklist de
usabilidade.
4.8.1 Etapa 1 – cadastro de componentes
Antes do cadastro de componentes propriamente ditos, uma premissa para qualquer inserção
de dados no framework é o encontro de um estudo/pesquisa relacionada com a usabilidade que
atenda as regras de informação citadas na Seção 4.3, ou seja: este estudo/pesquisa deverá apresentar
atributos de usabilidade (no mínimo um atributo para a avaliação da usabilidade) e ainda apresentar
o conceito utilizado para os(s) atributos(s) abordados. O ambiente de execução utilizado para a
avaliação deverá estar explícito no estudo/pesquisa utilizado.
Um estudo que atenda estas regras é considerado um estudo válido para inserção na base de
dados do framework. A partir dele, o usuário deverá identificar o tipo do primeiro componente a
ser inserido, ou seja, verificar se se trata de ambiente de execução, característica, atributo, métrica
ou recomendação. Com o tipo de componente identificado, a prática de validação (citada na Seção
4.3) correspondente ao tipo de componente que se pretende inserir, deverá ser executada. Ao final
da execução da prática tem-se a confirmação ou negação de inserção do(s) componente(s) no
framework. Excepcionalmente, para o tipo de componente: ambiente de execução optou-se por
cadastrar previamente os ambientes contemplados até então nesta pesquisa, conforme pode ser
verificado na Figura 19.
102
Figura 19. Cadastro de ambiente de execução
A fim de exemplificar de forma mais detalhada o processo de cadastro de componentes, bem
como apresentar as funcionalidades disponíveis para manutenção destes componentes, a Figura 20
apresenta a tela de manutenção de característica. Todos os componentes possuem uma tela
específica para manutenção em cadastro. Uma listagem referente aos dados do componente já
cadastrado é apresentada no acesso à tela.
Figura 20. Cadastro de características
103
Para cada registro desta listagem, funcionalidades para edição e exclusão são apresentadas.
Para o cadastro de um novo registro para o componente, um botão abaixo desta listagem é
apresentado para que o usuário preencha com os dados de cadastro do componente e possa realizar
nova inserção. Com o objetivo de apresentar um exemplo, a Figura 21 apresenta os campos que o
usuário deverá informar para realizar o cadastro de características, por exemplo. Cada componente
possui uma lista de atributos própria conforme detalhado na Seção 4.6.1 que deverá ser informado
pelo usuário em cada cadastro realizado.
Figura 21. Detalhes do cadastro de características
Cada componente deverá ser cadastrado em tela própria. O acesso a estas telas para o
cadastro de componentes deverá ser realizado pelo menu, no item “Componentes”.
4.8.2 Etapa 2 – vinculação de componentes
Uma segunda etapa de cadastros do framework é o estabelecimento de relação de vínculos
entre os componentes que formam o framework. Caso o estudo/pesquisa válido encontrado pelo
usuário apresentar vinculações entre os componentes (ou seja, estabelecimento de vínculos entre
104
característica e atributo, ambiente de execução e atributo, ou atributo/ambiente e questão, essa
vinculação será mantida no framework). Caso verificado, através da aplicação das práticas de
validação de inserção dos componentes, que é necessário realizarem a vinculação entre
componentes, o usuário poderá inserir essa vinculação, conforme a Figura 22 apresenta um
exemplo.
Figura 22. Vinculação entre componentes
Na Figura 23 tem-se a apresentação de exemplos de vinculação entre características e
atributos, sendo que conforme já citado, as telas de manutenção de componentes segue um mesmo
padrão de funcionalidades para listagem, alteração, remoção (caso esta ainda não tenha sido
utilizada em nenhuma execução de checklist) e adição de dados.
105
Figura 23. Lista de vínculos entre características e atributos
4.8.3 Etapa 3 – geração de checklist
Por fim, após os componentes devidamente cadastrados conforme exemplificado na Seção
4.8.1, bem como a realização da vinculação entre estes componentes, conforme exemplificado na
Seção 4.8.2, tem-se então a possibilidade da geração de um checklist de avaliação da Usabilidade
com base na seleção de ambiente de execução e atributos de avaliação.
Conforme citado anteriormente e somente a titulo de informação, caso o usuário logado no
sistema possuir perfil de administrador, estarão disponíveis todos os itens de menu para acesso.
Caso o usuário logado no sistema possuir perfil de avaliador, somente estará disponível o menu para
execução de checklist e o menu para logoff do sistema.
Acessando a tela de Execução de Checklists, os checklists cadastrados serão apresentados
conforme pode ser verificado no exemplo apresentado na Figura 24. Caso o usuário possuir perfil
de Administrador, todos os checklists criados até então serão listados para o usuário em tela. Caso o
usuário possuir perfil de Avaliador, somente serão apresentados os checklists de avaliação da
usabilidade criados para seu usuário.
106
Figura 24. Lista de checklists
A listagem de checklists de usabilidade realizados exemplificada na Figura 24 contém:
informação do código identificador do checklist de execução representado pela coluna “ID”,
empresa para a qual o checklist de avaliação da usabilidade foi realizado representado pela coluna
“Empresa”, projeto para o qual o checklist de avaliação da usabilidade foi realizado representado
pela coluna “Projeto”.
Para cada registro de checklist de avaliação da usabilidade listado nesta tela, é possível
realizar a manutenção de dados de execução do checklist (através da coluna “Alterar”), bem como
realizar a exclusão do checklist realizado, caso necessário (através da coluna “Excluir”) e responder
as questões relacionadas com o checklist de execução (através da coluna “Questões”).
Se o usuário deseja cadastrar nova execução de Checklist, deve clicar no botão “Nova
Execução de Checklist” disponível na tela. O sistema abre nova tela para inserção das informações
de cadastro/execução do checklist, para que o usuário preencha com os dados necessários para o
cadastro de uma nova execução de checklist conforme exemplifica a Figura 25.
107
Figura 25. Nova execução de checklist
O usuário informa os dados de execução que identificam o checklist de avaliação da
usabilidade e na parte inferior da tela, navega pela árvore de componentes para marcar/checar todos
os atributos de usabilidade que deseja avaliar.
A árvore de componentes de usabilidade sempre será apresentada com três níveis de
informação. O primeiro nível da árvore listada apresentará os ambientes de execução cadastrados e
somente serão apresentados os ambientes que possuem no mínimo um atributo de avaliação de
usabilidade vinculado naquele ambiente. O segundo nível apresenta a característica relacionada com
cada atributo listado. Caso algum atributo não esteja vinculado a uma característica, este atributo
será listado dentro de um agrupador identificado como “Atributos sem vínculo com
Características”. Por fim, no terceiro nível estão os atributos que deverão ser avaliados pelo usuário
Avaliador, através das questões de usabilidade. A Figura 26 exemplifica uma tela com os dados de
execução inseridos pelo usuário bem como a navegação e seleção de dois atributos para avaliação
da usabilidade.
108
Figura 26. Nova execução de checklist – definição de atributos
Com os dados de execução do checklist inseridos e os atributos de usabilidade
marcados/checados, o usuário clica no botão “Gerar Execução de Checklist”. Nesse momento, o
sistema verifica todos os atributos selecionados pelo usuário e gera as questões relacionadas a estes
atributos (de acordo com informações de vinculação existente no framework). O usuário é
direcionado para a tela de listagem de execuções de checklist (exemplificado na Figura 24).
Para iniciar o processo de execução do checklist propriamente dito e responder as questões
de usabilidade geradas para os atributos selecionados, o usuário clica no botão “Responder
Questões” apresentadas na coluna “Questões” para o registro de checklist que deseja executar. O
sistema apresenta a tela de questões para o checklist avaliado, conforme exemplificado na Figura 27
para que o usuário possa iniciar sua avaliação de checklist de usabilidade.
Para cada atributo de avaliação da usabilidade selecionado (conforme Figura 26) são
apresentadas as questões vinculadas e as opções de resposta em cada questão. Um campo de
observação é disponibilizado para o usuário, com o intuito de este registrar qualquer informação
relacionada à avaliação do atributo em questão.
Para cada questão apresentada serão disponibilizados dois links: “Métricas” e
“Recomendações”. Caso a questão avaliada possua métricas ou recomendações para avaliação
109
associadas, o usuário poderá acessar essa informação a partir destes links. Ao final da execução e
preenchimento das respostas (ou a qualquer momento) o usuário poderá salvar os dados, através do
botão “Salvar respostas” e continuar mais tarde. No momento que o usuário salvar as respostas
preenchidas, o sistema volta para a listagem de checklists criados de acordo com o usuário logado.
Figura 27. Execução de avaliação
O checklist também disponibiliza um totalizador para as questões geradas e respondidas que
pode ser acessado a qualquer momento, através do botão “Resultado Final”. A Figura 28 apresenta
um exemplo de totalizador gerado.
Figura 28. Execução de avaliação – resultados
110
4.9 COMPONENTES DE USABILIDADE ENCONTRADOS
Após o desenvolvimento da ferramenta computacional de apoio para a geração de checklists
de avaliação da usabilidade, foram verificadas as fontes de informação (referências) informadas na
Seção 4.2.2. A partir de cada uma destas referências, as quatro práticas citadas na Seção 4.3 foram
aplicadas, com o objetivo de extrair os componentes presentes nestas referências e inseri-los no
framework, respeitando, nesta inserção, as 10 regras citadas na Seção 4.2.2.
Todas estas fontes de informação resultaram, ao final da aplicação das práticas, em um
grande conjunto de componentes para inserção no framework. Os apêndices B, C, D, E, F foram
criados objetivando apresentar ao usuário a informação encontrada acerca dos componentes, de
forma mais completa. A Tabela 8 apresenta um resumo da estruturação da informação nestes
apêndices.
Tabela 8. Resumo de apêndices relacionados a componentes de usabilidade
Componente
Característica Apêndice B
Atributo
Questão
Recomendação
Métrica
Característica x Atributo
Ambiente x Característica x Atributo x Questão
Questão x Recomendação
http://usabilidade.kinghost.net/AmbienteAtributoQuestao.xls
http://usabilidade.kinghost.net/QuestaoRecomendacao.xls
Lista completa de dados relacionados ao componente
Apêndice C
http://usabilidade.kinghost.net/Questao.xls
http://usabilidade.kinghost.net/Recomendacao.xls
http://usabilidade.kinghost.net/Metrica.xls
Apêndice D
O componente denominado característica, conforme já citado, representa uma visão mais
abrangente da qualidade da informação relacionada com a usabilidade. Para este componente, com
base nas referências utilizadas, foram normalizados ao final do processo cerca de vinte e quatro
características distintas de usabilidade. É importante destacar que, ao final do processo, a
pesquisadora criou a 25ª característica denominada “Atributos avulsos” a fim de torna-la um
agrupador de atributos que não possuíam vinculação com características e objetivando com isso,
demonstrar essa situação explicitamente aos inspetores de usabilidade. A Tabela 9 apresenta a lista
completa de características inseridas no framework.
111
Tabela 9. Características de usabilidade
Acessibilidade Gestão de Erros
Adequação Inteligibilidade
Ajuda Mapeamento entre sistema e mundo real
Atributos "avulsos" Multimodal
Capacidade de Aprendizado Navegabilidade/Orientação
Carga de Trabalho (Memória) Operacionalidade
Confiabilidade Produtividade
Consistência na interação Recursos visuais
Controle Do usuário Satisfação
Eficácia Segurança
Eficiência Universalidade
Facilidade de uso Utilidade
CARACTERÍSTICAS
Flexibilidade
A lista completa de todas as características de usabilidade com seu respectivo conceito
encontra-se no Apêndice B. Caso o leitor deseje verificar a lista completa de características, com
informações acerca da conceituação e referências que citaram tais características, poderá utilizar o
link: http://usabilidade.kinghost.net/Caracteristica.xls.
Para o componente denominado atributo, que representa a informação acerca da usabilidade
de forma mais granular, foram normalizados um total de oitenta atributos distintos de usabilidade. A
Tabela 10 apresenta a lista de atributos inseridos no framework.
112
Tabela 10. Atributos de usabilidade
Acessibilidade Flexibilidade
Ações Mínimas Fonte
Adptação ao Meio Funcionalidade
Agrupamento e distinção de Itens Garantia
Ajuda Ícones
Animações e Transições Importância do Código
Aplicabilidade Informações Textuais
Atratividade/Agradabilidade Inteligibilidade
Auto-Descritivo Interface/Layout
Capacidade de Aprendizado Internacionalização
Carga de Memória Mínima/Brevidade Janelas
Comandos Legibilidade
Compatibilidade Mensagens
Componentes Navegabilidade/Orientação
Compreensibilidade Número de Erros
Comunicabilidade Objetivo
Comunidade Operacionalidade
Concisão Personalização
Consistência Precisão
Conteúdo de qualidade Presteza
Contraste Prevenção/Proteção de Erros
Controlabilidade/Ação explícita do usuário Previsibilidade
Coordenação Privacidade
Cores Produtividade
Densidade Informacional Promoção
Desempenho Recursos de Segurança
Design Entrada e Saída Reusabilidade
Design estético Satisfação
Dispositivos Simetria/Equilibrio
Eficácia Simplicidade
Eficiência Sincronismo
Elementos gráficos Solicitação
Emoção Som
Escalabilidade Suporte para o usuário reconhecer, diagnosticar e recuperar erros
Estado de interação compartilhada Taxa de Conclusão/Plenitude
Estrutura Tempo de Carga
Experiência do Usuário Tolerância a falhas
Facilidade de Uso Transição visível
Familiaridade/Padrões Utilidade
Feedback Utilização de recursos
ATRIBUTOS
A lista completa de atributos, juntamente com o conceito associado, encontra-se no
Apêndice C. Caso o leitor deseje verificar a lista completa de atributos, com informações acerca da
conceituação e referências que citaram tais atributos, poderá utilizar o link:
http://usabilidade.kinghost.net/Atributo.xls.
113
Algumas referências apresentaram características e atributos de usabilidade vinculados, ou
seja, a informação acerca da avaliação da usabilidade trouxe componentes com visão mais
abrangente (características) associados com informações mais granulares (atributos). Essa
vinculação de componentes, mesmo com a aplicação das práticas, foi mantida e resultou na
normalização, de 136 vinculações distintas.
Além disso, um total de 16 vinculações entre atributos e a característica denominada
“Atributos avulsos” foi realizada pela pesquisadora. Por fim, duas vinculações acerca do atributo de
Informações Textuais também foram realizadas pela pesquisadora, baseando-se nos conhecimentos
obtidos acerca dos estudos realizados. Ao final, tem-se um total de 154 vinculações realizadas.
Devido a grande quantidade de vinculações geradas, a Tabela 11 apresenta um pequeno conjunto de
vinculações entre características e atributos. Todos os atributos vinculados à característica
“Acessibilidade” são apresentados.
Tabela 11. Vinculação - Características X Atributos
CARACTERÍSTICA ATRIBUTO
Acessibilidade Ações Mínimas
Acessibilidade Auto-Descritivo
Acessibilidade Carga de Memória Mínima/Brevidade
Acessibilidade Consistência
Acessibilidade Controlabilidade/Ação explícita do usuário
Acessibilidade Flexibilidade
Acessibilidade Legibilidade
Acessibilidade Navegabilidade/Orientação
Acessibilidade Operacionalidade
Acessibilidade Simplicidade
A lista completa de todas as vinculações realizadas entre características e atributos de
usabilidade encontra-se no Apêndice D. Caso o leitor deseje verificar a lista completa de
vinculações entre características e atributos, com informações acerca das referências que citaram
tais vinculações, poderá utilizar o link: http://usabilidade.kinghost.net/CaracteristicaAtributo. xls.
Também foi realizado um total de 1609 vinculações distintas para a relação “Ambiente x
Característica x Atributo x Questão” sendo que destas, um total de 542 vinculações foram feitas
para o ambiente Desktop, 503 vinculações foram feitas para o ambiente dos dispositivos móveis e
564 vinculações foram feitas no ambiente web. Devido à quantidade de vinculações gerada e devido
114
ao fato de as referências se apresentarem distintas para determinados casos, o Apêndice E traz uma
pequena parte das vinculações. Caso o leitor deseja verificar a lista completa de vinculações entre
ambientes, características, atributos, questões e recomendações, com informações acerca das
referências que citaram tais vinculações, poderá utilizar o link:
http://usabilidade.kinghost.net/AmbienteAtributoQuestao. xls.
Por fim, a relação de questões e recomendações gerou um total de 242 vinculações distintas.
Neste caso, devido à quantidade de informação descritiva nas vinculações geradas (principalmente
nas recomendações), o Apêndice F traz uma pequena parte das vinculações realizadas. Caso o leitor
deseje verificar a lista completa de vinculações entre questões e recomendações, com informações
acerca das referências que citaram tais vinculações, poderá utilizar o link:
http://usabilidade.kinghost.net/QuestaoRecomendacao. xls.
Também foram disponibilizados para leitura completa o cadastro de Questões, disponível no
link: http://usabilidade.kinghost.net/Questao.xls, o cadastro de recomendações, disponível no link:
http://usabilidade.kinghost.net/Recomendacao.xls, métricas, disponível no link:
http://usabilidade.kinghost.net/Metrica.xls e a vinculação entre ambientes de execução e atributos,
disponível no link: http://usabilidade.kinghost.net/AmbienteAtributo. xls
4.10 CONSIDERAÇÕES
A definição de atributos de avaliação da usabilidade é uma tarefa complexa tendo em vista
que existem na literatura diversos modelos de avaliação da usabilidade propostos por diversos
autores com fatores de avaliação distintos entre si. Essa grande diversidade de atributos também é
verificada quando analisados estudos para um mesmo ambiente de execução, encontrando-se
diversos autores abordando fatores de avaliação da usabilidade distintos (SOUZA, 2007; MADAN;
DUBEY, 2012).
Este cenário gera nos envolvidos com a avaliação da usabilidade (que não possuem
conhecimentos específicos em ergonomia) dificuldades no momento da escolha dos atributos
corretos a avaliar (HORNBAEK; LAW, 2007). Portanto, uma ferramenta que possa apoiar na
definição destes atributos para cada ambiente de execução faz-se necessária a fim de facilitar este
trabalho.
115
Este capítulo abordou estudos realizados pelo autor a fim de contemplar uma estrutura de
framework que possa apoiar em avaliações da usabilidade. Foram especificados requisitos
funcionais e não funcionais que permitem o desenvolvimento de uma ferramenta computacional que
atenda o processo definido na abordagem do framework proposto. O capítulo apresenta também o
projeto e implementação dos recursos que compõe a ferramenta de apoio para geração de checklists
de avaliação da usabilidade, descreve algumas tecnologias utilizadas, bem como um guia de
demonstração de uso. A ferramenta está disponível à comunidade de pesquisa através de uma
interface web (Link: http://usabilidade.kinghost.net/login. jsf), permitindo uso e avaliação da
mesma.
Embora o Capítulo 4 não apresente a completude de toda a implementação realizada, a
ferramenta Checklist de Usabilidade apresentada neste capítulo atende ao objetivo três deste
trabalho, com o projeto e implementação de uma abordagem automatizada de framework de suporte
a geração de checklists para avaliação da usabilidade de acordo com o ambiente de execução.
Caracteriza-se como uma abordagem automatizada por aplicar técnicas computadorizadas para
reduzir o esforço durante o processo de geração de checklists para avaliação da usabilidade.
Pretende-se ainda contribuir com o planejamento e realização de avaliações que possam
indicar se o framework proposto apresentou facilidade na utilização, motivou os envolvidos com a
avaliação da usabilidade em sua utilização e verificar o quão adequado se apresentou para utilização
em avaliações de usabilidade. O Capítulo 5 formula hipóteses através de uma metodologia de
estudos a respeito do suporte da abordagem de framework proposta e detalha a avaliação
pretendida, suas métricas e objetivos a serem evidenciados. Por fim, o Capítulo 5 avalia o
framework através do paradigma de GQM e aplicação de questionário, apresenta resultados e
análise desta avaliação.
116
5 AVALIAÇÃO
Este trabalho apresenta como contribuição à área da usabilidade, um framework de
componentes utilizado para apoiar no processo de seleção de atributos para inspeção da usabilidade
de acordo com o ambiente de execução. A concepção deste framework é apoiada pelo
desenvolvimento de uma ferramenta que deseja auxiliar na definição de atributos de avaliação da
usabilidade por ambiente de execução (Capítulo 4).
Este capítulo apresenta a seguinte organização: a Seção 5.1 detalha o planejamento da
avaliação prevista para o framework e a Seção 5.2 aborda as considerações para a aplicação da
avaliação e resultados esperados.
5.1 MODELO DE AVALIAÇÃO
A avaliação do framework proposto será realizada através do método GQM (Goal, Question,
Metric) proposto por Basili, Caldeira, Rombach et al. (1994) e do desenvolvimento de um
questionário. A avaliação qualitativa guiada pelo método GQM consiste na definição de objetivos, a
partir das quais são extraídas questões de pesquisa associadas a métricas com o intuito de obter um
resultado mensurável. Este modelo de avaliação possui estrutura hierárquica que inicia pela
definição dos objetivos que serão medidos (goals) os quais são refinados em várias questões,
decompondo o problema em componentes principais. As questões compreendem o nível
operacional do modelo refinado em várias métricas objetivas ou subjetivas. Uma única métrica pode
ser utilizada para responder diferentes perguntas sob o mesmo objetivo (BASILI; CALDEIRA;
ROMBACH, 1994).
De acordo com o problema abordado (Seção 1.1), este trabalho pretende avaliar, através do
modelo GQM, se um framework que apoie a elaboração de listas de verificação para inspeção da
usabilidade através de inspeções via checklist poderá facilitar e motivar a adoção de práticas de
inspeção da usabilidade em projetos de desenvolvimento de software.
Além dessas avaliações citadas, este capítulo também apresenta uma avaliação da
ferramenta de apoio através da proposta de desenvolvimento de um questionário, buscando
identificar se o framework proposto mostrou-se adequado para ser aplicado em projetos de
desenvolvimento de software.
117
5.1.1 Planejamento da avaliação – método GQM
Conforme já citado, com a utilização do método GQM (Goal, Question, Metric) proposto
por Basili, Caldeira e Rombach (1994), identifica-se os objetivos da avaliação, elaboram-se as
questões e apontam-se as métricas relacionadas a estas questões.
Portanto, objetivando evidências associadas à questão de pesquisa relacionada com a
facilidade e motivação de utilização de um framework para apoio na elaboração de listas de
verificação e as hipótese relacionadas a esta questão, os objetivos (goals) do modelo GQM foram
elaborados para avaliação, conforme nos apresentado nos Quadros 6, 7 e 8.
Quadro 6. Objetivo 1 (G1)
Analisar O framework proposto
Com o propósito de Definir
Com respeito a Facilidade
No contexto de Adoção de práticas de inspeção da usabilidade em projetos de
desenvolvimento de software.
Sob o ponto de vista de Envolvidos com o desenvolvimento de software (analistas,
programadores, arquitetos).
Quadro 7. Objetivo 2 (G2)
Analisar O framework proposto
Com o propósito de Definir
Com respeito a Motivação
No contexto de Adoção de práticas de inspeção da usabilidade em projetos de
desenvolvimento de software.
Sob o ponto de vista de Envolvidos com o desenvolvimento de software (analistas,
programadores, arquitetos).
Quadro 8. Objetivo 3 (G3)
Analisar O framework proposto
Com o propósito de Definir
Com respeito a Adequação
No contexto de Adoção de práticas de inspeção da usabilidade em projetos de
desenvolvimento de software.
Sob o ponto de vista de Envolvidos com o desenvolvimento de software (analistas,
programadores, arquitetos).
118
Hipóteses: a avaliação foi planejada para testar as seguintes hipóteses (nula e alternativa) a respeito
dos indicadores de produtividade e confiabilidade:
H01: O framework de apoio à elaboração de listas de verificação para inspeção da
usabilidade via checklist contribui para o incremento na facilidade de adoção de práticas de
usabilidade em projetos de desenvolvimento de software;
H02: O framework de apoio à elaboração de listas de verificação para inspeção da
usabilidade via checklist contribui para o incremento na motivação de aplicação de praticas
de usabilidade em projetos de desenvolvimento de software;
H03: A aplicação de um framework composto de características, atributos, questões,
métricas e recomendações, considerando ambientes de execução específicos, mostra-se
adequado para ser aplicado em projetos de desenvolvimento de software.
Seguindo a definição de processo proposta pelo método GQM, no Quadro 9 estão detalhadas
as questões para a avaliação do framework proposto relacionadas a cada objetivo proposto.
Quadro 9. Questões para avaliação do framework
QUESTÃO DESCRIÇÃO OBJETIVO
Q1 O framework proposto contribui como guia, na seleção de atributos
para inspeção da usabilidade?
Facilidade
Q2 A estrutura de informação apresentada pelo framework proposto
contribui na redução do esforço de assimilação de aspectos
relacionados com a inspeção da usabilidade?
Facilidade
Q3 As questões utilizadas no framework para a inspeção dos atributos de
usabilidade contribuem na redução do esforço relacionado à
compreensão de termos próprios da usabilidade?
Facilidade
Q4 A linguagem utilizada pelo framework proposto contribui na redução
do esforço relacionado à compreensão de termos próprios da
usabilidade?
Facilidade
Q5 A estrutura de informação apresentada pelo framework proposto gera
maior facilidade na realização de inspeções de usabilidade, do que a
avaliação feita a partir de documentação ou norma?
Facilidade
Q6 O framework proposto contribui na redução de esforço para
conclusão de tarefas relacionadas com a inspeção da usabilidade de
forma eficiente?
Facilidade
Q7 O framework proposto é fácil de ser utilizado? Facilidade
Q8 A estrutura de informação apresentada pelo framework proposto
contribui para a redução do esforço na seleção de atributos de
usabilidade?
Motivação
119
Q9 O framework pode ser utilizado nas próximas avaliações inspeções
de usabilidade durante projetos de desenvolvimento de software?
Motivação
Q10 O framework proposto pode ser indicado para avaliação da
usabilidade para outros interessados?
Motivação
Q11 O framework proposto contribui como ferramenta útil para a
inspeção da usabilidade durante projetos de desenvolvimento de
software?
Motivação
Q12 Qual a sua impressão subjetiva sobre o percentual de ganho de
tempo que atividade de inspeção da usabilidade obteve com o
emprego do framework quando comparado com a não utilização?
Motivação
Q13 Os mecanismos de seleção de componentes, abordados pelo
framework proposto contribuem para a redução da complexidade na
inspeção da usabilidade entre os envolvidos com projetos de
desenvolvimento de software?
Adequação
Q14 A estrutura de informações abordada pelo framework se mostrou
adequada para ser aplicada em inspeções de usabilidade durante
projetos de desenvolvimento de software?
Adequação
Q15 As sugestões de questões apresentadas no framework contribuem
como prática adequada em inspeções de usabilidade?
Adequação
Q16 O framework proposto pode ser utilizado como ferramenta de
trabalho para inspeção da usabilidade durante outros projetos de
desenvolvimento de software?
Adequação
Q17 Qual o grau de concordância subjetiva do framework proposto em
relação à inspeção da usabilidade durante projetos de
desenvolvimento de software?
Adequação
As questões de pesquisa citadas anteriormente no Quadro 9, são associadas a métricas
apropriadas, conforme pode ser verificado no Quadro 10. Como se trata de avaliações subjetivas, as
métricas são mais informais ou instáveis, exigindo a avaliação de especialistas através de um
questionário. A distribuição das métricas para a avaliação subjetiva das questões é apresentada na
Figura 29.
Quadro 10. Métricas para avaliação subjetiva do framework proposto
MÉTRICA DESCRIÇÃO
M1 Quantidade de pessoas que responderam “Concordo amplamente”
M2 Quantidade de pessoas que responderam “Concordo parcialmente”
M3 Quantidade de pessoas que responderam “Discordo parcialmente”
M4 Quantidade de pessoas que responderam “Discordo amplamente”
120
Figura 29. Avaliação subjetiva – distribuição de métricas
Após o desenvolvimento do modelo de avaliação GQM, é necessário selecionar as técnicas,
ferramentas e os procedimentos apropriados para a coleta dos dados. Neste estudo, os
procedimentos para a obtenção das métricas subjetivas fundamentam-se na realização de um
questionário com pelo menos 10 envolvidos com processo de desenvolvimento de software. Cada
uma das questões possui um conjunto de resultados possíveis, classificados por importância
conforme apresentado no Quadro 14, e o questionário apresentado no Apêndice B.
Cada uma das métricas subjetivas é obtida através da soma das respostas obtidas para a
questão específica. Para possibilitar avaliações subjetivas pelo questionário a ser realizado pelos
envolvidos com processo de desenvolvimento de software, adota-se um conjunto de atributos
classificados por importância, conforme apresentado no Quadro 11.
Quadro 11. Atributos de avaliação do framework
ATRIBUTO CLASSIFICAÇÃO CORRESPONDÊNCIA NUMÉRICA
A1 Concordo Amplamente > 75%
A2 Concordo Parcialmente 51~75%
A3 Discordo Parcialmente 26~50%
A4 Discordo Amplamente < 26%
Sem opinião definida* -
* não contribui para a avaliação, atuando como uma possibilidade ao respondente em isentar-se daquela questão.
121
Assim para que cada uma das questões tenha um valor computado, realiza-se a interpretação
da contribuição da abordagem proposta através de configurações descritas no Quadro 12 para os
fatores de facilidade, alinhados ao objetivo G1; no Quadro 13 para a motivação na utilização do
framework, alinhados ao objetivo G2; e por fim, no Quadro 14 para a adequação na utilização do
framework proposto, alinhados ao objetivo G3. Cada uma das métricas descritas anteriormente
conduz a um atributo de comparação que subtraído a média dos atributos, permite a interpretação
daquela questão específica dentro do contexto avaliado.
Quadro 12. Interpretação da avaliação da facilidade no framework*
EXPRESSÃO INTERPRETAÇÃO
A1 > MÉDIA (A2, A3, A4) O framework proposto contribui amplamente na facilidade de
seleção de atributos para avaliação da usabilidade.
A2 > MÉDIA (A1, A3, A4) O framework proposto contribui de modo parcial na facilidade de
seleção de atributos para avaliação da usabilidade.
A3 > MÉDIA (A1, A2, A4) O framework proposto contribui de modo negativo na facilidade de
seleção de atributos para avaliação da usabilidade.
A4 > MÉDIA (A1, A2, A3) O framework proposto impede ou restringe a facilidade de seleção
de atributos para avaliação da usabilidade.
* lido da seguinte forma: “Se Expressão então Interpretação”.
Quadro 13. Interpretação da avaliação da motivação no framework*
EXPRESSÃO INTERPRETAÇÃO
A1 > MÉDIA (A2, A3, A4) O framework proposto contribui amplamente na motivação de
utilização do framework em um processo de desenvolvimento de
software.
A2 > MÉDIA (A1, A3, A4) O framework proposto contribui de modo parcial na motivação de
utilização do framework em um processo de desenvolvimento de
software.
A3 > MÉDIA (A1, A2, A4) O framework proposto contribui de modo negativo na motivação de
utilização do framework em um processo de desenvolvimento de
software.
A4 > MÉDIA (A1, A2, A3) O framework proposto impede ou restringe a motivação de
utilização do framework em um processo de desenvolvimento de
software.
* lido da seguinte forma: “Se Expressão então Interpretação”.
Quadro 14. Interpretação da avaliação da adequação no framework*
EXPRESSÃO INTERPRETAÇÃO
A1 > MÉDIA (A2, A3, A4) O framework proposto contribui amplamente na adequação de
utilização do framework em um processo de desenvolvimento de
software.
A2 > MÉDIA (A1, A3, A4) O framework proposto contribui de modo parcial na adequação de
utilização do framework em um processo de desenvolvimento de
122
software.
A3 > MÉDIA (A1, A2, A4) O framework proposto contribui de modo negativo na adequação de
utilização do framework em um processo de desenvolvimento de
software.
A4 > MÉDIA (A1, A2, A3) O framework proposto impede ou restringe a adequação de
utilização do framework em um processo de desenvolvimento de
software.
* lido da seguinte forma: “Se Expressão então Interpretação”.
Caso o número de respostas obtidas a partir da avaliação pela comunidade de IHC e
profissionais desenvolvedores não se mostrar suficiente, o framework proposto será encaminhado
para avaliação para contatos vinculados à SBC (Sociedade Brasileira de Computação). Além desta
avaliação junto a profissionais de desenvolvimento de software e pesquisadores da área de IHC,
serão realizados experimentos em três empresas diferentes, com pelo menos uma avaliação por
ambiente de execução dentre os contemplados nesta pesquisa (web, desktop, móvel).
Caso exista uma igualdade no somatório de algum destes atributos, é possível realizar uma
análise estatística sobre a distribuição das respostas obtidas, verificando o desvio padrão a partir da
variação dos dados, obtendo-se a tendência da amostragem para cada um dos valores divergentes,
solucionando assim o impasse.
5.1.2 Planejamento da avaliação – método GQM
A avaliação da adequação do framework proposto será realizada através de questionário
aplicado junto aos participantes após a utilização do framework. Para que possa ser avaliado, o
framework proposto será disponibilizado para acesso na internet, através de acesso com
usuário/senha específicos.
A avaliação do framework proposto quanto a sua adequação será realizada por profissionais
da área de informática, junto a empresas e instituições de desenvolvimento de software, buscando
abranger a aplicação do framework proposto em projetos ou produtos reais, envolvendo no mínimo
uma avaliação para cada ambiente de execução, seguindo algumas etapas:
1. Apresentação do Objetivo do trabalho proposto;
2. Apresentação do Framework proposto de maneira geral;
123
3. Apresentação de conceitos relacionados com a usabilidade, avaliações de
usabilidade e a aplicação de avaliações de usabilidade em processos de
desenvolvimento de software;
4. Apresentação do framework proposto de maneira mais específica, suas
funcionalidades quanto à geração de listas de verificação para avaliação da
usabilidade via checklist;
5. Identificação da empresa em que a avaliação de usabilidade será realizada;
6. Seleção e identificação de projeto/produto, na empresa, em que a avaliação será
aplicada a partir do framework proposto, bem como o ambiente de execução
utilizado;
7. Seleção de colaborador da empresa, envolvido com processo de desenvolvimento
de software que irá participar da avaliação da usabilidade com o apoio do
framework proposto;
8. Definições de configuração (ambiente de execução, características, atributos,
etc.) no framework para geração de lista de verificação para avaliação da
usabilidade;
9. Verificação de questões, métricas e recomendações para cada atributo
selecionado para avaliação;
10. Aplicação de questionário de GQM informado na Seção 5.1.1.
Para cada empresa e projeto/produto verificados estas etapas serão reproduzidas a fim de
obter um conjunto de informações suficientes para avaliação do framework proposto.
5.2 EXECUÇÃO
Para a avaliação do framework proposto nesta pesquisa foram realizadas treze avaliações de
usabilidade em quatro empresas e/ou instituições distintas de desenvolvimento de software. A
avaliação do framework ocorreu em julho de 2014 e contou com a participação de onze pessoas que
124
atualmente atuam em processos de desenvolvimento de software. A seguir, o processo de avaliação
utilizado, bem como o perfil dos participantes e dos produtos/projetos avaliados é detalhado.
5.2.1 Iniciando o processo de avaliação
Após o planejamento da avaliação do framework proposto nesta pesquisa, realizou-se um
contato inicial por e-mail com cada participante (em cada empresa) que possivelmente poderia atuar
como avaliador/inspetor de usabilidade do framework. Um total de quatorze contatos em quatro
empresas distintas foi realizado. Neste contato inicial, uma pequena apresentação do escopo da
pesquisa de mestrado foi realizada, sendo que ao final, um total de onze participantes, oriundos de
quatro empresas distintas, aceitou contribuir com a pesquisa.
Após este contato inicial e objetivando inserir de forma mais detalhada estes onze
participantes na pesquisa, foram realizadas reuniões presenciais objetivando repassar informações e
orientações para a geração de checklists para avaliação da usabilidade. Foi possível realizar reunião
presencial em duas das quatro empresas utilizadas nesta pesquisa, sendo que estas duas empresas
juntas representam 84% das avaliações de usabilidade realizadas. Nas demais empresas o contato
entre a pesquisadora e os participantes foi realizado por chat, e-mail ou telefone.
As reuniões presenciais contribuíram para apresentar aos participantes, de forma mais
detalhada, a pesquisa de mestrado realizada e a ferramenta de apoio à geração de checklists de
usabilidade que foi desenvolvida no projeto de pesquisa. Durante estas reuniões foi possível
esclarecer diversas dúvidas comuns aos participantes acerca do processo de avaliação, acerca dos
papéis do desenvolvimento de software utilizados pela ferramenta, bem como dúvidas das
disciplinas que o projeto ou produto de software se encontra, todas estas informações necessárias
para geração do checklist de usabilidade.
Para os participantes da pesquisa, a seguinte informação a respeito de cada papel no
desenvolvimento de software foi repassada, com o intuito de apoia-los na seleção da informação no
momento da execução do checklist:
Analista de sistemas: responsável pela identificação de requisitos, detalhamento dos
requisitos e desenho da interface do usuário;
125
Analista de Suporte: responsável por fornecer suporte técnico especializado aos
atendentes e usuários do sistema;
Programador: responsável por projetar e implementar uma parte do sistema, em
termos de entidades de software, operações e interações dentro das restrições dos
requisitos;
Arquiteto: responsável por liderar e coordenar as atividades e os artefatos técnicos
necessários para o desenvolvimento da arquitetura do projeto;
Gerente de projeto: responsável por planejar, controlar e alocar recursos, planejar
prioridades, coordenar interações com os clientes e usuários e manter a equipe de
projeto focada.
Analista de teste: responsável por planejar os testes, desenvolver os casos de testes e
coordenar a execução de testes;
Testador: responsável por executar os testes planejados.
Em relação às disciplinas que o projeto/produto se encontra, a seguinte orientação de
conceitos foi repassada:
Requisitos e Análise: corresponde à disciplina que reúne tarefas acerca de
identificação e detalhamento de requisitos para o sistema;
Modelagem de Negócio: corresponde à disciplina que reúne tarefas acerca de
identificação e modelagem de processos de negócio da empresa;
Projeto e Implementação: corresponde à disciplina que reúne tarefas acerca de
desenvolvimento de modelos e implementação da solução de software com base no
detalhamento dos requisitos;
Teste: corresponde à disciplina que reúne tarefas para desenvolver casos de teste e
efetuar o teste de integração e de sistema;
126
Implantação: corresponde à disciplina que reúne tarefas para homologação e
implantação do sistema;
Produto: corresponde a fase em que o software passou por todas as disciplinas, foi
finalizado e encontra-se em uso.
Do ponto de vista da pesquisadora, ambas as reuniões realizadas com as equipes de
desenvolvimento mostraram-se realmente produtivas tendo em vista que serviram para sanar
dúvidas comuns que surgiram entre os participantes. As dúvidas sanadas antes mesmo da realização
da avaliação de usabilidade propriamente dita facilitaram a execução das avaliações evitando ou
minimizando equívocos com conceitos ou informações preenchidas de forma incorreta que
poderiam ocorrer durante as avaliações.
Durante a realização das reuniões, checklists de avaliação da usabilidade foram criados pela
pesquisadora em ambiente de teste com o objetivo de apresentar aos participantes o passo-a-passo
realizado para uma execução de avaliação da usabilidade através de checklists gerados pela
ferramenta. Foi disponibilizado também aos participantes, via e-mail, documento contendo o passo-
a-passo, com telas de exemplo, para a realização de um checklist de avaliação da usabilidade.
Os participantes foram orientados a manter as aplicações avaliadas abertas durante o
preenchimento das respostas do checklist objetivando facilitar a escolha da resposta em cada
questão, bem como o preenchimento de observações para a questão, quando necessário. Ao final de
cada avaliação realizada, a maioria dos participantes prontamente entrou em contato com a
pesquisadora a fim de comunica-la da finalização da avaliação, mesmo que esta comunicação não
fosse obrigatória ou não tivesse sido solicitada.
Cada participante recebeu por e-mail o endereço da aplicação web
(http://www.usabilidade.kinghost.net/) na qual iria realizar a(s) avaliação(ões) de usabilidade.
Juntamente com a informação do endereço da aplicação foi disponibilizado um usuário e senha
específicos de acesso para cada participante que visualizou somente os checklists gerados pelo seu
próprio usuário.
Foi disponibilizada aos participantes, em julho de 2014, cinco dias úteis de acesso a
ferramenta para a realização das avaliações de usabilidade que se mostraram suficientes para as
treze avaliações realizadas.
127
5.2.2 Perfil dos participantes
No contato inicial, citado anteriormente, com os possíveis participantes da pesquisa foi
verificado pela pesquisadora qual o papel do desenvolvimento de software que cada participante
exercia dentro da empresa onde atuava. O objetivo desta coleta de informações (de forma informal)
foi realizar o maior número possível de avaliações de usabilidade para papéis distintos do
desenvolvimento de software, dentre os sinalizados pela ferramenta. Com esta comunicação
informal com os participantes foi possível obter avaliações com checklists de usabilidade para cinco
papéis distintos dentre os sete oferecidos pela pesquisa como opção de seleção para “papel do
inspetor no projeto”.
A Figura 30 apresenta a quantidade de participantes para cada papel do desenvolvimento de
software oferecido pela pesquisa. Como pode ser verificado, somente os papéis “Analista de teste” e
“Testador” não contabilizaram nenhuma execução de checklist de usabilidade na ferramenta
proposta.
Figura 30. Checklists de usabilidade por papel do desenvolvimento de software
É interessante destacar que os papéis do desenvolvimento de software: “Analista de
Sistemas” e “Programador” contabilizaram os maiores números de avaliações de usabilidade, sendo
3 e 4 avaliações respectivamente. Do ponto de vista da pesquisadora, que atualmente trabalha como
analista de sistemas, esse número favorece ainda mais as contribuições geradas para esta pesquisa,
pois estes dois papéis interferem diretamente na produção de interfaces amigáveis, tendo em vista
que os analistas desenham a interface e os programadores as tornam funcionais dentro das restrições
de negócio impostas pelos projetos das empresas envolvidas.
128
As treze execuções de avaliação da usabilidade geradas foram realizadas por onze
participantes de quatro empresas/instituições distintas que atuam do desenvolvimento de software.
Por tratar-se de avaliações de usabilidade feitas por colaboradores atuantes nestas empresas e que
produziram respostas, cenários e opiniões acerca de produtos/projetos de software avaliados, a
identificação dos participantes, empresas, bem como dos produtos/projetos avaliados será mantida
em sigilo.
Objetivando identificar de forma mais completa o perfil dos participantes da pesquisa, a
Tabela 12 apresenta, para cada identificação de participante, o papel desempenhado dentro da
empresa no momento da execução da pesquisa, o tempo de atuação no papel do desenvolvimento de
software informado, a empresa onde atua e os ambientes de execução que cada participante avaliou.
Entre os participantes que realizaram avaliações de usabilidade com o framework proposto
por esta pesquisa foi verificado qual a experiência de cada um destes em relação à utilização de
práticas de avaliação da Usabilidade. Para facilitar a resposta, a pesquisadora relembrou a estes
participantes, quais as principais técnicas de avaliação da usabilidade podem ser utilizadas em
avaliações de usabilidade. Como apoio e fonte de informação, o Quadro 1 foi utilizado.
Dentre os 11 participantes envolvidos, apenas três destes possuíam alguma experiência
anterior com aplicação de práticas de avaliação da usabilidade. Destes participantes com
experiência anterior com avaliação de usabilidade, dois deles, ambos analistas de sistemas,
utilizaram avaliação apoiados por checklists. Um dos participantes, arquiteto de software, participou
de uma avaliação de usabilidade sendo a técnica utilizada de monitoramento com sistema espião.
As empresas avaliadas possuem endereço nas cidades de Blumenau (Santa Catarina). A
empresa identificada pelo número 1 possui em torno de 140 colaboradores (segundo informações
repassadas pelo setor de recursos humanos de cada empresa/instituição verificada), atuando com
desenvolvimento de projetos e produtos de software para empresas do ramo de tabaco, energia
elétrica e construção civil. A empresa identificada pelo número 2 é uma instituição que possui em
torno de 350 colaboradores, sendo que destes, 12 trabalham efetivamente com desenvolvimento de
software para instituição de ensino no departamento de Tecnologia da Informação da empresa. A
empresa identificada pelo número 3 possui em torno de 40 colaboradores e atua com a criação de
sites/portais de internet para empresas de diversos segmentos. Por fim, a empresa identificada como
129
empresa 4, possui em torno de 160 colaboradores e atua com desenvolvimento de projetos de
software para empresa de distribuição de bebidas.
Tabela 12. Perfil de Participantes nas avaliações de usabilidade
PARTICIPANTE
PAPEL DO DESENVOLVIMENTO
DE SOFTWARE
EXPERÊNCIA COM AVALIAÇÃO
DE USABILIDADE EMPRESA
AMBIENTE DE EXECUÇÃO
AVALIADO
Participante 1 Programador Não Empresa 1 Desktop
Participante 2 Gerente de Projetos Não Empresa 1 Web
Participante 3 Programador Não Empresa 1 Web, Dispositivos Móveis
Participante 4 Programador Não Empresa 1 Desktop
Participante 5 Arquiteto Sim Empresa 1 Web, Dispositivos Móveis
Participante 6 Analista de Sistemas Sim Empresa 1 Web
Participante 7 Analista de Sistemas Sim Empresa 2 Web
Participante 8 Analista de Suporte Não Empresa 2 Web
Participante 9 Analista de Sistemas Não Empresa 2 Web
Participante 10 Gerente de Projetos Não Empresa 3 Web
Participante 11 Arquiteto Não Empresa 4 Dispositivos Móveis
5.2.3 Perfil de projetos/produtos de software avaliados
As avaliações de usabilidade geradas através do framework proposto contemplaram os
ambientes de execução web, desktop e dispositivos móveis, conforme pode ser verificado na tabela
12. As treze avaliações de usabilidade foram realizadas tanto em projetos de desenvolvimento de
software em andamento, quanto em produtos de software já finalizados conforme pode ser
verificado na Tabela 13.
Os projetos ou produtos avaliados atendem a diversos setores, dentre os quais se pode citar:
gestão de serviços para equipes de trabalho de empresa de distribuição de energia elétrica, gestão de
produtos de chão de fábrica para empresa multinacional, gestão de lançamento de atividades por
recurso em fábrica de software, gestão de mensagens e autorizações via processos de workflow para
empresa de distribuição de energia elétrica e por fim, sistema acadêmico de cursos, alunos,
disciplinas, matrículas e débitos de alunos.
Das avaliações executadas, 46% delas foram realizadas em produtos de software e o
restante, 54% foi realizada em projetos de software em andamento, os quais encontravam-se na fase
de “Projeto e Implementação” ou na fase de “Teste”. A Tabela 13 apresenta um resumo das
avaliações realizadas por ambiente de execução avaliado e por disciplina em que o projeto/produto
foi avaliado em cada empresa.
130
Tabela 13. Resumo de avaliações de usabilidade por disciplina e empresa
5.2.4 Avaliações realizadas
Esta pesquisa realizou um total de treze avaliações de usabilidade distintas realizadas por
onze participantes, em projetos/produtos de software que contemplaram os ambientes de execução
web, desktop e dispositivos móveis. A seguir, as Tabelas de 14 a 26 apresentam cada uma das treze
avaliações de usabilidade realizadas, bem como detalhes das avaliações realizadas.
Tabela 14. Avaliação de usabilidade 01
Ambiente de Execução Web
Empresa Empresa 2
Participante Participante 7
Tecnologias Envolvidas Java, Hibernate, JSP, Javascript, Spring, Oracle, Jasper Reports/iText, Maven, Git
Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do Inspetor Analista de Sistemas
Nro Características avaliadas 6
Características Avaliadas Gestão de Erros, Navegabilidade/Orientação, Produtividade, Recursos visuais, Segurança, Utilidade
Nro de Atributos Avaliados 11
Atributos Avaliados
Animações e Transições, Componentes, Cores, Ícones, Legibilidade, Mensagens, Número de Erros,
Prevenção/Proteção de Erros, Privacidade, Recursos de Segurança, Utilização de recursos
Nro de Questões Avaliadas 44
Questões Conformes 29
Questões Não Conformes 10
Questões Não Aplicáveis 5
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 1
131
Tabela 15. Avaliação de usabilidade 02
Ambiente de Execução Desktop
Empresa Empresa 2
Participante Participante 8
Tecnologias Envolvidas CoreBuilder/Java
Disciplina (Projeto ou Produto) Produto
Papel do Inspetor Analista de Suporte
Nro Características avaliadas 15
Características Avaliadas
Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Controle Do usuário, Eficácia,
Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade, Operacionalidade, Recursos visuais, Satisfação,
Segurança, Utilidade
Nro de Atributos Avaliados 31
Atributos Avaliados
Ações Mínimas, Animações e Transições, Atratividade/Agradabilidade, Auto-Descritivo, Capacidade de
Aprendizado, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do
usuário, Cores, Design estético, Elementos gráficos, Emoção, Experiência do Usuário, Facilidade de Uso,
Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Ícones, Mensagens, Navegabilidade/Orientação,
Número de Erros, Precisão, Prevenção/Proteção de Erros, Produtividade, Recursos de Segurança,
Reusabilidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa de
Conclusão/Plenitude, Tempo de Carga, Utilização de recursos
Nro de Questões Avaliadas 103
Questões Conformes 24
Questões Não Conformes 64
Questões Não Aplicáveis 15
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 02
Tabela 16. Avaliação de usabilidade 03
Ambiente de Execução Desktop
Empresa Empresa 1
Participante Participante 1
Tecnologias Envolvidas PowerBuilder, Oracle
Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do Inspetor Programador
Nro Características avaliadas 16
Características Avaliadas
Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Carga de Trabalho (Memória),
Controle Do usuário, Eficácia, Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade,
Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Satisfação, Segurança
Nro de Atributos Avaliados 59
Atributos Avaliados
Acessibilidade, Ações Mínimas, Agrupamento e distinção de Itens, Animações e Transições, Aplicabilidade,
Atratividade/Agradabilidade, Auto-Descritivo, Capacidade de Aprendizado, Carga de Memória
Mínima/Brevidade, Comandos, Compatibilidade, Componentes, Compreensibilidade, Comunicabilidade,
Concisão, Consistência, Conteúdo de qualidade, Contraste, Controlabilidade/Ação explícita do usuário,
Coordenação, Cores, Densidade Informacional, Desempenho, Design estético, Eficácia, Eficiência, Emoção,
Escalabilidade, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Feedback, Flexibilidade,
Fonte, Funcionalidade, Importância do Código, Informações Textuais, Inteligibilidade, Internacionalização,
Mensagens, Navegabilidade/Orientação, Número de Erros, Operacionalidade, Personalização, Precisão,
Presteza, Prevenção/Proteção de Erros, Produtividade, Promoção, Recursos de Segurança, Reusabilidade,
Satisfação, Simetria/Equilibrio, Som, Suporte para o usuário reconhecer, diagnosticar e recuperar erros,
Taxa de Conclusão/Plenitude, Tempo de Carga, Utilidade, Utilização de recursos
Nro de Questões Avaliadas 267
Questões Conformes 210
Questões Não Conformes 37
Questões Não Aplicáveis 2
Questões com Avaliação Prejudicada 18
AVALIAÇÃO 03
132
Tabela 17. Avaliação de usabilidade 04
Ambiente de Execução Web
Empresa Empresa 1
Participante Participante 2
Tecnologias Envolvidas Java, PL/SQL
Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do Inspetor Gerente de Projeto
Nro Características avaliadas 6
Características Avaliadas Confiabilidade, Facilidade de uso, Navegabilidade/Orientação, Operacionalidade, Recursos visuais,
Nro de Atributos Avaliados 37
Atributos Avaliados
Agrupamento e distinção de Itens, Animações e Transições, Carga de Memória Mínima/Brevidade,
Comandos, Compatibilidade, Componentes, Conteúdo de qualidade, Contraste, Controlabilidade/Ação
explícita do usuário, Cores, Densidade Informacional, Design estético, Emoção, Experiência do Usuário,
Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Funcionalidade, Garantia, Ícones, Importância do
Código, Informações Textuais, Janelas, Legibilidade, Mensagens, Navegabilidade/Orientação,
Personalização, Precisão, Privacidade, Promoção, Simetria/Equilibrio, Solicitação, Som, Tempo de Carga,
Tolerância a falhas, Utilização de recursos
Nro de Questões Avaliadas 166
Questões Conformes 75
Questões Não Conformes 52
Questões Não Aplicáveis 35
Questões com Avaliação Prejudicada 4
AVALIAÇÃO 04
Tabela 18. Avaliação de usabilidade 05
Ambiente de Execução Web
Empresa Participante 10
Participante Empresa 3
Tecnologias Envolvidas PHP, MySQL
Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do Inspetor Gerente de Projeto
Nro Características avaliadas 2
Características Avaliadas Eficácia, Operacionalidade
Nro de Atributos Avaliados 6
Atributos Avaliados Consistência, Feedback, Flexibilidade, Navegabilidade/Orientação, Precisão, Taxa de Conclusão/Plenitude
Nro de Questões Avaliadas 31
Questões Conformes 25
Questões Não Conformes 6
Questões Não Aplicáveis 0
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 05
133
Tabela 19. Avaliação de usabilidade 06
Ambiente de Execução Dispositivos Móveis
Empresa Participante 11
Participante Empresa 4
Tecnologias Envolvidas Flex, Java e SAP ABAP
Disciplina (Projeto ou Produto) Produto
Papel do Inspetor Arquiteto
Nro Características avaliadas 10
Características Avaliadas
Acessibilidade, Atributos "avulsos", Capacidade de Aprendizado, Confiabilidade, Eficácia, Eficiência,
Flexibilidade, Gestão de Erros, Inteligibilidade, Recursos visuais
Nro de Atributos Avaliados 20
Atributos Avaliados
Ações Mínimas, Aplicabilidade, Componentes, Controlabilidade/Ação explícita do usuário, Desempenho,
Design estético, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Flexibilidade,
Funcionalidade, Navegabilidade/Orientação, Precisão, Prevenção/Proteção de Erros, Produtividade,
Simetria/Equilibrio, Simplicidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros,
Utilidade, Utilização de recursos
Nro de Questões Avaliadas 69
Questões Conformes 51
Questões Não Conformes 11
Questões Não Aplicáveis 7
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 06
Tabela 20. Avaliação de usabilidade 07
Ambiente de Execução Web
Empresa Empresa 2
Participante Participante 9
Tecnologias Envolvidas Java EE, Hibernate, Spring, Git, DWR, Prototype, Oracle, Aplication Server
Disciplina (Projeto ou Produto) Produto
Papel do Inspetor Analista de Sistemas
Nro Características avaliadas 5
Características Avaliadas Confiabilidade, Flexibilidade, Gestão de Erros, Navegabilidade/Orientação, Segurança
Nro de Atributos Avaliados 19
Atributos Avaliados
Agrupamento e distinção de Itens, Consistência, Controlabilidade/Ação explícita do usuário, Experiência do
Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Garantia, Legibilidade,
Navegabilidade/Orientação, Número de Erros, Precisão, Prevenção/Proteção de Erros, Privacidade,
Recursos de Segurança, Solicitação, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa
de Conclusão/Plenitude, Tolerância a falhas
Nro de Questões Avaliadas 111
Questões Conformes 71
Questões Não Conformes 30
Questões Não Aplicáveis 10
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 07
134
Tabela 21. Avaliação de usabilidade 08
Ambiente de Execução Dispositivos Móveis
Empresa Empresa 1
Participante Participante 3
Tecnologias Envolvidas Java ME
Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do Inspetor Programador
Nro Características avaliadas 4
Características Avaliadas Acessibilidade, Eficiência, Flexibilidade, Operacionalidade
Nro de Atributos Avaliados 13
Atributos Avaliados
Ações Mínimas, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do
usuário, Experiência do Usuário, Feedback, Flexibilidade, Legibilidade, Navegabilidade/Orientação,
Operacionalidade, Simplicidade, Tempo de Carga, Utilização de recursos
Nro de Questões Avaliadas 69
Questões Conformes 25
Questões Não Conformes 23
Questões Não Aplicáveis 21
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 08
Tabela 22. Avaliação de usabilidade 09
Ambiente de Execução Web
Empresa Empresa 1
Participante Participante 3
Tecnologias Envolvidas Flex, C#.net, sql(Oracle)
Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do Inspetor Programador
Nro Características avaliadas 3
Características Avaliadas Facilidade de uso, Produtividade, Utilidade
Nro de Atributos Avaliados 10
Atributos Avaliados
Carga de Memória Mínima/Brevidade, Controlabilidade/Ação explícita do usuário, Feedback, Flexibilidade,
Garantia, Precisão, Privacidade, Tempo de Carga, Tolerância a falhas, Utilização de recursos
Nro de Questões Avaliadas 27
Questões Conformes 15
Questões Não Conformes 10
Questões Não Aplicáveis 1
Questões com Avaliação Prejudicada 1
AVALIAÇÃO 09
135
Tabela 23. Avaliação de usabilidade 10
Ambiente de Execução Desktop
Empresa Empresa 1
Participante Participante 4
Tecnologias Envolvidas JAVA SE
Disciplina (Projeto ou Produto) Produto
Papel do Inspetor Programador
Nro Características avaliadas 8
Características Avaliadas
Acessibilidade, Capacidade de Aprendizado, Carga de Trabalho (Memória), Controle Do usuário, Eficácia,
Eficiência, Flexibilidade, Gestão de Erros
Nro de Atributos Avaliados 16
Atributos Avaliados
Ações Mínimas, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do
usuário, Densidade Informacional, Experiência do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade,
Navegabilidade/Orientação, Número de Erros, Operacionalidade, Precisão, Taxa de Conclusão/Plenitude,
Tempo de Carga, Utilização de recursos
Nro de Questões Avaliadas 63
Questões Conformes 38
Questões Não Conformes 11
Questões Não Aplicáveis 10
Questões com Avaliação Prejudicada 4
AVALIAÇÃO 10
Tabela 24. Avaliação de usabilidade 11
Ambiente de Execução Web
Empresa Empresa 1
Participante Particpante 5
Tecnologias Envolvidas SAP NetWeaver / Java EE
Disciplina (Projeto ou Produto) Produto
Papel do Inspetor Arquiteto
Nro Características avaliadas 11
Características Avaliadas
Acessibilidade, Atributos "avulsos", Carga de Trabalho (Memória), Flexibilidade, Gestão de Erros,
Inteligibilidade, Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Segurança, Utilidade
Nro de Atributos Avaliados 29
Atributos Avaliados
Animações e Transições, Aplicabilidade, Comandos, Consistência, Contraste, Cores, Densidade
Informacional, Eficiência, Emoção, Experiência do Usuário, Feedback, Flexibilidade, Funcionalidade,
Garantia, Importância do Código, Legibilidade, Mensagens, Número de Erros, Precisão, Prevenção/Proteção
de Erros, Recursos de Segurança, Simetria/Equilibrio, Simplicidade, Suporte para o usuário reconhecer,
diagnosticar e recuperar erros, Taxa de Conclusão/Plenitude, Tempo de Carga, Tolerância a falhas,
Nro de Questões Avaliadas 150
Questões Conformes 83
Questões Não Conformes 43
Questões Não Aplicáveis 15
Questões com Avaliação Prejudicada 9
AVALIAÇÃO 11
136
Tabela 25. Avaliação de usabilidade 12
Ambiente de Execução Web
Empresa Empresa 1
Participante Particpante 6
Tecnologias Envolvidas Adobe Flex, PL/SQL e .Net
Disciplina (Projeto ou Produto) Teste
Papel do Inspetor Analista de Sistemas
Nro Características avaliadas 14
Características Avaliadas
Acessibilidade, Adequação, Capacidade de Aprendizado, Carga de Trabalho (Memória), Confiabilidade,
Controle Do usuário, Facilidade de uso, Flexibilidade, Inteligibilidade, Navegabilidade/Orientação,
Operacionalidade, Recursos visuais, Satisfação, Universalidade
Nro de Atributos Avaliados 39
Atributos Avaliados
Ações Mínimas, Agrupamento e distinção de Itens, Animações e Transições, Aplicabilidade,
Atratividade/Agradabilidade, Auto-Descritivo, Carga de Memória, Mínima/Brevidade, Comandos,
Compatibilidade, Componentes, Consistência, Conteúdo de qualidade, Contraste, Controlabilidade/Ação
explícita do usuário, Coordenação, Cores, Densidade Informacional, Design estético, Emoção, Experiência
do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Ícones, Importância do Código,
Informações Textuais, Legibilidade, Mensagens, Navegabilidade/Orientação, Personalização, Privacidade,
Promoção, Simetria/Equilibrio, Simplicidade, Solicitação, Som, Tempo de Carga, Tolerância a falhas
Nro de Questões Avaliadas 226
Questões Conformes 162
Questões Não Conformes 46
Questões Não Aplicáveis 18
Questões com Avaliação Prejudicada 0
AVALIAÇÃO 12
Tabela 26. Avaliação de usabilidade 13
Ambiente de Execução Dispositivos Móveis
Empresa Empresa 1
Participante Particpante 5
Tecnologias Envolvidas Java EE e HTML5
Disciplina (Projeto ou Produto) Produto
Papel do Inspetor Arquiteto
Nro Características avaliadas 6
Características Avaliadas
Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Controle Do usuário,
Recursos visuais
Nro de Atributos Avaliados 8
Atributos Avaliados
Controlabilidade/Ação explícita do usuário, Coordenação, Eficiência, Experiência do Usuário, Facilidade de
Uso, Flexibilidade, Simplicidade, Tempo de Carga
Nro de Questões Avaliadas 23
Questões Conformes 13
Questões Não Conformes 5
Questões Não Aplicáveis 2
Questões com Avaliação Prejudicada 3
AVALIAÇÃO 13
Foram avaliadas 1349 questões em 13 avaliações de usabilidade geradas pela ferramenta,
por 11 participantes. A Figura 49 apresenta o cenário de questões respondidas, de acordo com cada
opção de resposta.
137
Figura 31. Cenário de questões respondidas
Todos os ambientes de execução propostos pela pesquisa foram avaliados no mínimo por
duas execuções de checklist. Das 25 características criadas pelo framework proposto, apenas quatro
não foram avaliadas. As características que não sofreram avaliação foram: Ajuda, Consistência na
Interação, Mapeamento entre o sistema e o mundo real e Multimodal. Em relação aos 80 atributos
de avaliação da usabilidade propostos pela pesquisa, foi possível avaliar cerca 68 atributos distintos,
que representam 85% dos atributos criados. Os atributos que não foram avaliados foram: Adaptação
ao Meio, Ajuda, Comunidade, Design de Entrada e Saída, Dispositivos, Estado de interação
compartilhada, Estrutura, Interface/Layout, Objetivo, Previsibilidade, Sincronismo e Transição
visível. Através das treze avaliações de usabilidade realizadas não foi possível avaliar
características e atributos criados em sua totalidade, pois a escolha destes, por ambiente de
execução, ficou a cargo exclusivamente dos participantes.
5.3 RESULTADOS
Após a realização das avaliações de usabilidade executadas pelos participantes através dos
checklists gerados pelo framework proposto pela pesquisa, aplicou-se o questionário referenciado
no Apêndice F com o intuito de avaliar este framework.
138
5.3.1 Método GQM
Através do questionário de avaliação do framework proposto, apresentado no apêndice F, os
participantes relataram suas impressões subjetivas a respeito das contribuições obtidas em termos de
facilidade, motivação e adequação em relação à adoção de práticas de inspeção da usabilidade em
projetos de desenvolvimento de software pelos envolvidos com o desenvolvimento de software
(analistas programadores e gerentes de projeto).
O questionário realizado foi repassado a cada um dos onze participantes, após a realização
de suas respectivas avaliações. Neste questionário foi possível verificar que cerca de 81% dos
participantes já leu respeito do tema “Usabilidade”, cerca de 9% participou de outros processos de
avaliação de usabilidade e por fim, cerca de 10% não possui conhecimento algum em usabilidade.
Com relação à distribuição dos resultados entre as questões, ilustrado pela Figura 32,
verificou-se de maneira geral, que os objetivos de facilidade (Q1 à Q7), motivação (Q8 à Q12) e
adequação (Q13 à Q17) avaliados pela pesquisa demonstraram uma concordância ampla entre as
avaliações realizadas pelos participantes.
Em relação ao objetivo da facilidade, somente três participantes discordaram parcialmente
da facilidade obtida em relação à adoção do framework de apoio à elaboração de listas de
verificação para inspeção de usabilidade em projetos de desenvolvimento de software. Em relação à
motivação e a adequação, somente dois participantes discordaram parcialmente, em ambos os casos,
com a motivação obtida com a utilização do framework ou com a adequação deste em relação a
projetos de desenvolvimento de software.
139
Figura 32. Distribuição de respostas por questão
Com relação à distribuição dos resultados entre os objetivos, ilustrado na Figura 33, as
questões relacionadas à facilidade demonstraram uma concordância ampla de 88,3%. As questões
relacionadas à motivação demonstraram uma concordância ampla de 90,0% e por fim, as questões
relacionadas com a adequação também demonstraram uma concordância ampla de 78,2%.
Figura 33. Distribuição de respostas conforme objetivo
140
Para o objetivo da facilidade, conforme pode ser verificado na Figura 33, 5,2% dos
participantes discordaram parcialmente com o fato de que o framework proposto para o apoio à
geração de checklists para a avaliação da usabilidade facilitou a adoção de práticas de inspeção da
usabilidade em projetos de desenvolvimento de software.
O objetivo da motivação demonstrou numericamente os melhores resultados, sendo que
somente 3,6% dos participantes discordaram parcialmente com o fato de que o framework proposto
para o apoio a geração de checklists para a avaliação da usabilidade motivou a adoção de práticas de
inspeção da usabilidade em projetos de desenvolvimento de software.
Por fim, os resultados acerca do objetivo da adequação que demonstrou numericamente os
piores resultados, tendo em vista que 5,5% dos participantes discordaram parcialmente com o fato
de que o framework proposto para o apoio à geração de checklists para a avaliação da usabilidade
foi adequado para a adoção de práticas de inspeção da usabilidade em projetos de desenvolvimento
de software. Nenhum dos participantes da pesquisa discordou amplamente com a facilidade,
motivação ou adequação do framework proposto para o apoio na geração de checklists para a
avaliação da usabilidade em projetos de desenvolvimento de software.
O Quadro 15 apresenta, para cada questão, o atributo (conforme orientação do Quadro 11)
relacionado à opção de resposta mais indicada pelos participantes. Juntamente com o atributo, nesta
coluna é apresentada a informação do percentual que esta opção de resposta mais indicada obteve
em relação ao total de participantes. Com base nisso as médias e interpretações descritas nos
Quadros 12, 13 e 14 foram realizadas, resultando na coluna “MÉDIA”.
O percentual apresentado na coluna média é obtido da seguinte maneira: primeiramente
verifica-se qual atributo a opção de resposta mais indicada representa (conforme parâmetros do
Quadro 11). Com base nisso e de acordo com o objetivo que está sendo avaliado, aplica-se uma das
interpretações indicadas (Quadro 12, 13 e 14). Por exemplo, para o objetivo da facilidade na
questão 2, obteve-se 7 respostas indicando “Concordo amplamente”, 3 respostas indicando
“Concordo parcialmente” e 1 resposta indicando “Discordo parcialmente”. Observando o Quadro
11, a opção mais indicada (63,6%) encontra-se dento do conjunto de valores do atributo A2
(conforme Quadro 11). Dessa forma, a média foi realizadas entre os atributo A1, A3 e A4 (63,6% +
9,1% + 0,0%)/3) tendo que vista que A2 > MEDIA (A1, A3 e A4).
141
Quadro 15. Interpretação da avaliação subjetiva da abordagem
QUESTÃO ATRIBUTO-VALOR MÉDIA
Q1 A1 - 81,8% 6,1%
Q2 A2 - 27,3% 24,2%
Q3 A2 - 36,4% 21,2%
Q4 A2 - 36,4% 21,2%
Q5 A1 - 81,8% 0,0%
Q6 A2 - 27,3% 21,2%
Q7 A2 - 54,5% 15,2%
Facilidade 49,4% 15,6%
Q8 A2 - 36,4% 31,8%
Q9 A2 - 27,3% 24,2%
Q10 A1 - 81,8% 6,1%
Q11 A2 - 27, 3% 24,2%
Q12 A2 - 54,5% 15,2%
Motivação 50,0% 20,3%
Q13 A2 - 36,4% 21,2%
Q14 A1 - 81,8% 6,1%
Q15 A2 - 45,5% 18,2%
Q16 A2 - 27,3% 21,2%
Q17 A1 - 81,8% 6,1%
Adequação 54,6% 14,6%
5.3.2 Avaliação de uso
Uma análise adicional realizada a partir das respostas fornecidas pelos participantes consiste
em organizar os principais comentários e críticas realizadas. O Quadro 16 expõe os comentários
realizados pelos participantes, relacionando o questionário aplicado com o framework para geração
de checklists de usabilidade proposto pela pesquisa.
De maneira geral, os comentários acerca da ferramenta direcionam a uma melhoria contínua
em relação ao formato do conteúdo apresentado, bem como a forma de seleção dos componentes de
usabilidade que devem ser avaliados em uma aplicação pelos inspetores com níveis de experiência
distintos. As sugestões propostas pelo participante 5 da Empresa 1 se apresentaram realmente
interessantes e instigaram numa melhoria continua contínua em inovar ainda mais o formato de
seleção de características e atributos de usabilidade do framework proposto.
142
Quadro 16. Comentários realizados pelos participantes
PERFIL DO PARTICIPANTE Participante 5 da Empresa 1, atua como arquiteto e avaliou aplicações para o ambiente web e para o ambiente dos dispositivos móveis.
ASPECTO O framework proposto contribui como guia, na seleção de atributos para inspeção da usabilidade?
COMENTÁRIO
Como a pergunta trata da contribuição para seleção de atributos (ou seja, a contribuição para determinar quais atributos devem ou não ser contemplados
para um determinado sistema, que julgo ocorrer na tela de cadastro de execução), nada me chamou a atenção sobre este aspecto. Talvez esta pergunta
esteja se referindo à base de dados de perguntas, mas acredito que o diferencial do projeto contemplar também a seleção de atributos dinamicamente.
Mecanismo de seleção de atributos
A seleção de atributos precisa ser feita manualmente sem nenhum tipo de apoio ou automação. Não existe uma descrição um pouco mais detalhada de
cada categoria ou atributo, que pode ser útil mesmo para usuários experientes.
Como sugestão para melhorar a contribuição para seleção de atributos seria interessante incluir, por exemplo, requisitos a nível de serviço e de design
implementados pelo sistema que influenciam a usabilidade, ou também informação de frameworks que já possuem classificações de usabilidade
estabelecidas, tipo de usuário, nível de conhecimento no uso de sistemas desejável do usuário, entre outros. Outro ponto é que não é possível incluir um
item de usabilidade manualmente, novo, específico para um determinado cenário.
Usuário sem experiência (não sei se é aplicável)
Talvez um usuário sem experiência de usabilidade não precisará selecionar os atributos (apenas responder as perguntas, conforme e-mail detalhando),
mas se precisar, ele não conseguirá decidir quais atributos são ou não importantes.
ASPECTO
A estrutura de informação apresentada pelo framework proposto contribui na redução do esforço de assimilação de aspectos relacionados com a inspeção
da usabilidade?
COMENTÁRIO
A inclusão de conceitos e recomendações junto com as questões é uma boa abordagem para garantir o entendimento. Entretanto sugiro algumas
melhorias:
Revisar e tornar algumas questões mais objetivas. Muitas questões eram muito longas. Em alguns casos não é necessário por exemplo "O usuário..." pois o
contexto já indica isto.
Destacar um contexto com base em categorias ou aspectos comuns, cores, imagens, etc. Identifiquei alguns casos onde uma mesma questão pode ter um
aspecto positivo ou negativo, dependendo do contexto.
Segmentar as questões. Todas as questão dispostas em uma lista gigante, tornando a atividade cansativa (a sensação de progressão é menor, é cansativo).
Percebi também a falta da definição de alguns conceitos (caixa de diálogo por exemplo, ou o conceito de modal e não-modal). Para alguns usuários que
não sabem do que se trata a marcação de respostas pode ser incorreta. Uma opção é colocar na própria questão um tooltip.
143
ASPECTO
As questões utilizadas no framework para a inspeção dos atributos de usabilidade contribuem na redução do esforço relacionado a compreensão de
termos próprios da usabilidade?
COMENTÁRIO Sim, mas vide considerações anteriores.
ASPECTO A linguagem utilizada pelo framework proposto contribui na redução do esforço relacionado à compreensão de termos próprios da usabilidade?
COMENTÁRIO
Talvez para usuários menos experientes não (usuários sem conhecimento com usabilidade).
Neste caso uma sugestão é colocar exemplos em todas as questões. E não apenas texto, mas também animações, imagens. Inclusive exemplos interativos
no próprio sistema de inspeção, onde o próprio inspetor pode em tempo real presenciar os resultados.
Outro ponto é diferenciação entre "Não" e "Não se aplica" nas respostas. Não estava claro. A definição que utilizei foi:
Não - "Deveria" existir, mas não está adequado.
Não se aplica - "Não precisa existir" na situação em questão.
ASPECTO
A estrutura de informação apresentada pelo framework proposto gera maior facilidade na realização de inspeções de usabilidade, do que a avaliação feita
a partir de documentação ou norma?
COMENTÁRIO Sem dúvida a utilização de um sistema é superior.
ASPECTO O framework proposto contribui na redução de esforço para conclusão de tarefas relacionadas com a inspeção da usabilidade de forma eficiente?
COMENTÁRIO Sim
ASPECTO O framework proposto é fácil de ser utilizado?
COMENTÁRIO
Em geral sim, mas precisa de melhorias. Algumas observações como exemplo:
Persistir as informações de resposta de questões imediatamente após alteração (sem necessidade de clicar em "Salvar").
Segmentar as categorias e atributos de usabilidade
Remover o check-list das respostas das questões da janela modal. Incluir no corpo da aplicação principal.
Resolver os problemas de estabilidade do serviço
Colocar opção para sempre exibir na direta os conceitos, recomendações, exemplos, etc.
ASPECTO A estrutura de informação apresentada pelo framework proposto contribui para a redução do esforço na seleção de atributos de usabilidade?
COMENTÁRIO A existência de uma base de questões sim, mas a seleção com base nesta base precisa de inovação.
ASPECTO O framework pode ser utilizado nas próximas avaliações inspeções de usabilidade durante projetos de desenvolvimento de software?
COMENTÁRIO
Está no caminho mas acredito que ainda não. É fundamental resolver as questões existentes e inovar um pouco a parte de seleção de atributos e
facilidade para usuários sem conhecimento de usabilidade, inclusão de evidências de inspeção, etc.
(Desconheço como está a geração de indicadores, capacidade de integração, etc).
Outra questão é a visão de módulos ou serviços ("telas") das aplicações. O sistema parece estar desenhado para avaliar um produto como um todo, e
acredito que isto precisa ser revisado. A inspeção de usabilidade deveria ter características modulares e incrementais, assim como o sistema em avaliação.
ASPECTO O framework proposto pode ser indicado para avaliação da usabilidade para outros interessados?
COMENTÁRIO Sim.
ASPECTO O framework proposto contribui como ferramenta útil para a inspeção da usabilidade durante projetos de desenvolvimento de software?
COMENTÁRIO Sim. Existem considerações como a experiência dos inspetores, incremento, etc, conforme itens acima.
144
ASPECTO
Qual a sua impressão subjetiva sobre o percentual de ganho de tempo que atividade de inspeção da usabilidade obteve com o emprego do framework
quando comparado com a não utilização?
COMENTÁRIO Sim. Precisa apenas resolver a questão da seleção de atributos, assim como questões técnicas da aplicação.
ASPECTO
Os mecanismos de seleção de componentes, abordados pelo framework proposto contribuem para a redução da complexidade na inspeção da
usabilidade entre os envolvidos com projetos de desenvolvimento de software?
COMENTÁRIO Sim.
ASPECTO
A estrutura de informações abordada pelo framework se mostrou adequada para ser aplicada em inspeções de usabilidade durante projetos de
desenvolvimento de software?
COMENTÁRIO Ainda não. Já respondido.
ASPECTO As sugestões de questões apresentadas no framework contribuem como prática adequada em inspeções de usabilidade?
COMENTÁRIO Sim. Com ressalvas já explicadas.
ASPECTO
O framework proposto pode ser utilizado como ferramenta de trabalho para inspeção da usabilidade durante outros projetos de desenvolvimento de
software?
COMENTÁRIO Ainda não. Já respondido
ASPECTO Qual o grau de concordância subjetiva do framework proposto em relação à inspeção da usabilidade durante projetos de desenvolvimento de software?
COMENTÁRIO Em geral muito bom.
PERFIL DO PARTICIPANTE Participante 2 da Empresa 1, atua como gerente de projeto e avaliou aplicação web.
ASPECTO Aspectos Gerais
COMENTÁRIO
Referente alo framework avaliado, seguem algumas considerações:
- Algumas perguntas utilizam uma linguagem muito técnica, dificultando o entendimento de pessoas leigas em programação
- Algumas questões são muito extensas e isso dificulta a compreensão do avaliador
- O framework possui uma interface muito amigável e de fácil entendimento
- O framework facilita a seleção de uma alternativa, pois somente clicando sobre a palavra a opção já é selecionada
145
5.4 SÍNTESE DOS RESULTADOS
Tendo finalizados os procedimentos de avaliação para coleta de métricas subjetivas é
possível sintetizar o resultado obtido na Tabela 27. Nela são apresentados os objetivos da avaliação
(G1 – Facilidade, G2 – Motivação e G3 – Adequação), as questões relacionadas e as métricas que
as compõem. São demonstradas também as medições obtidas através do questionário (na forma de
uma expressão matemática de comparação) e nos procedimentos de avaliação, na forma de um
coeficiente percentual, que representa o atendimento de um determinado atributo de resposta que
aponta, por sua vez, a síntese obtida para o objetivo avaliado.
Tabela 27. Avaliação do framework proposto
Objetivo Questão Métrica(s) Medição Resposta Síntese
G1 Q1 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na facilidade
G1 Q2 M1, M2, M3, M4 27,3% > 24,2% A2 contribui de modo parcial na facilidade
G1 Q3 M1, M2, M3, M4 36,4% > 21,2% A2 contribui de modo parcial na facilidade
G1 Q4 M1, M2, M3, M4 36,4% > 21,2% A2 contribui de modo parcial na facilidade
G1 Q5 M1, M2, M3, M4 81,8% > 0% A1 contribui amplamente na facilidade
G1 Q6 M1, M2, M3, M4 27,3% > 21,2% A2 contribui de modo parcial na facilidade
G1 Q7 M1, M2, M3, M4 54,5% > 15,2% A2 contribui de modo parcial na facilidade
G2 Q8 M1, M2, M3, M4 36,4% > 31,8% A2 contribui de modo parcial na motivação
G2 Q9 M1, M2, M3, M4 27,3% > 24,2% A2 contribui de modo parcial na motivação
G2 Q10 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na motivação
G2 Q11 M1, M2, M3, M4 27,3% > 24,2% A2 contribui de modo parcial na motivação
G2 Q12 M1, M2, M3, M4 54,5% > 15,2% A2 contribui de modo parcial na motivação
G3 Q13 M1, M2, M3, M4 36,4% > 21,2% A2 contribui de modo parcial na motivação
G3 Q14 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na adequação
G3 Q15 M1, M2, M3, M4 45,5% > 18,2% A2 contribui de modo parcial na adequação
G3 Q16 M1, M2, M3, M4 27,3% > 21,2% A2 contribui de modo parcial na adequação
G3 Q17 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na adequação
Considerando a síntese exposta, é possível listar os resultados obtidos com relação a cada
uma das questões de avaliação, realizando uma interpretação da medição obtida (conforme Quadro
11), do procedimento de avaliação e lacunas evidenciadas durante o processo:
Q1. O framework proposto contribui como guia, na seleção de atributos para
inspeção da usabilidade, visto que 81,8% dos participantes concordaram amplamente
com esta afirmação. Apesar disso, um dos comentários ressalta a necessidade de
aperfeiçoar a seleção de atributos através de algum tipo de apoio especializado ou
automação. O comentário ainda sugere uma descrição um pouco mais detalhada
acerca dos componentes de características de atributos, podendo ser útil mesmo para
146
usuários experientes. Outra melhoria sugerida na seleção de atributos diz respeito a
inclusão, por exemplo de requisitos a nível de serviço e de design implementados
pelo sistema que influenciam a usabilidade. Por fim, o participante sentiu
necessidade de incluir novos atributos de avaliação mesmo depois da geração do
checklist de usabilidade;
Q2. A estrutura de informação apresentada pelo framework proposto contribui de
modo parcial na redução do esforço de assimilação de aspectos relacionados com a
inspeção da usabilidade, visto que 63,6% dos participantes concordaram amplamente
com esta afirmação e 27,3 concordaram parcialmente com a afirmação. Um dos
participantes afirmou que, apesar de a inclusão de conceitos, recomendações e
métricas junto às questões ser uma abordagem positiva para garantir o entendimento,
ainda assim faz-se necessário que algumas questões sejam revisadas, um possível
contexto seja vinculado as questões e ainda que estas questões sejam segmentadas;
Q3. As questões utilizadas no framework para a inspeção dos atributos de usabilidade
contribuem de modo parcial na redução do esforço relacionado à compreensão de
termos próprios da usabilidade, visto que 54,5% dos participantes concordaram
amplamente com esta afirmação e 36,4% concordam parcialmente com a afirmação.
Q4. A linguagem utilizada pelo framework proposto contribui de modo parcial na
redução do esforço relacionado à compreensão de termos próprios da usabilidade
tendo em vista que 54,5% dos participantes concordaram amplamente com esta
afirmação e 36,4% concordam parcialmente com a afirmação. Um comentário sugere
a inclusão de exemplos de melhores praticas em todas as questões e ainda sugere que
as opções de resposta “Não” e “Não se aplica” sejam revistas ou sua definição se
apresenta de forma mais clara para os inspetores;
Q5. A estrutura de informação apresentada pelo framework proposto gera maior
facilidade na realização de inspeções de usabilidade, do que a avaliação feita a partir
de documentação ou norma, segundo concordância ampla de 81,8% dos
participantes;
147
Q6. O framework proposto contribui de modo parcial na redução de esforço para
conclusão de tarefas relacionadas com a inspeção da usabilidade de forma eficiente,
tendo em vista que 72,7% dos participantes concordam amplamente com esta
afirmação;
Q7. Quanto à facilidade, o framework proposto contribui de modo parcial na
facilidade de utilização, visto que 54,5% dos participantes concordam de modo
parcial com esta afirmação. Melhorias são sugeridas ao framework com o intuito de
agregar valor ao objetivo da facilidade na geração de checklists para a avaliação da
usabilidade;
Q8. A estrutura de informação apresentada pelo framework proposto contribui de
modo parcial para a redução do esforço na seleção de atributos de usabilidade, tendo
em vista que 54,5% dos participantes concordaram amplamente com esta afirmação
e 36,4 concordaram parcialmente com esta afirmação. Um comentário sugere
melhorias na seleção de características e atributos de usabilidade para que atenda;
Q9. O framework atende de modo parcial a possibilidade de ser utilizado nas
próximas avaliações de usabilidade durante projetos de desenvolvimento de
software, tendo em vista que 72,7% dos participantes concordaram amplamente com
esta afirmação e 27,3% concordam parcialmente. Apesar disso, um comentário
sugere que é de fundamental importância resolver algumas questões de facilidade
sugeridas na seleção de características e atributos de usabilidade;
Q10. O framework proposto pode ser indicado para avaliação da usabilidade para
outros interessados, tendo em vista que 81,8% dos participantes concordaram
amplamente com esta afirmação;
Q11. O framework proposto contribui de forma parcial como ferramenta útil para a
inspeção da usabilidade durante projetos de desenvolvimento de software, pois
72,7% dos participantes que concordaram amplamente com esta afirmação e 27,3%
concordam parcialmente com esta afirmação. Apesar disso, um dos participantes
sugeriu se atentar as considerações de melhoria propostas no intuito de motivar ainda
mais avaliações de usabilidade;
148
Q12. Em relação à impressão subjetiva que a utilização do framework representa
sobre o percentual de ganho de tempo que atividade de inspeção da usabilidade
obteve com o emprego do framework quando comparado com a não utilização,
verifica-se que o framework contribui parcialmente como ferramenta adequada a
processos de desenvolvimento de software;
Q13. Os mecanismos de seleção de componentes abordados pelo framework
proposto contribuem de modo parcial para a redução da complexidade na inspeção
da usabilidade entre os envolvidos com projetos de desenvolvimento de software,
tendo em vista que 63,6% dos participantes concordam com esta afirmação e 36,4%
concordam parcialmente com esta afirmação;
Q14. A estrutura de informações abordada pelo framework se mostrou adequada para
ser aplicada em inspeções de usabilidade durante projetos de desenvolvimento de
software, segundo 81,8% dos participantes que concordaram amplamente com esta
afirmação;
Q15. As sugestões de questões apresentadas no framework contribuem de modo
parcial como prática adequada em inspeções de usabilidade de acordo com 54,5%
dos participantes que concordam parcialmente. Apesar de que um comentário de um
participante sugere atenção às ressalvas citadas em relação ao framework;
Q16. O framework proposto pode ser utilizado como ferramenta de trabalho para
inspeção da usabilidade durante outros projetos de desenvolvimento de software,
tendo em vista que 54,5% dos participantes concordaram amplamente com esta
afirmação e 27,3% concordam parcialmente com esta afirmação;
Q17. O grau de concordância subjetiva do framework proposto em relação à inspeção
da usabilidade durante projetos de desenvolvimento de software é adequado de
acordo com 81,8% dos participantes que concordaram amplamente com esta
afirmação. Um comentário de participante indica que, apesar de o framework
necessitar de algumas adequações, em geral é “muito bom”.
De modo geral, a interpretação dos resultados da avaliação responde as questões de pesquisa
apontadas na problematização deste trabalho (Seção 1.1) ao afirmar que “um framework que apoie a
149
elaboração de listas de verificação para a inspeção da usabilidade via checklist pode facilitar e
motivar a adoção de práticas de usabilidade em projetos de software” e que “um framework
composto de diferentes características e atributos de usabilidade encontrada na literatura,
considerando ambientes de execução específicos, mostra-se adequado para ser aplicado como
prática de usabilidade em projetos de desenvolvimento de software”.
5.5 COMPARATIVO ENTRE SOLUÇÕES SIMILARES
O framework proposto nesta pesquisa foi organizado através de componentes
(características, atributos, questões, métricas e recomendações) encontrados na literatura e
pesquisas acerca da usabilidade. Estes componentes relacionáveis entre si, apresentados pelo
framework proposto nesta pesquisa, apoiaram envolvidos com desenvolvimento de software, que
não possuíam experiência com avaliações de usabilidade, a aplicar práticas de inspeção de
usabilidade em processos de desenvolvimento de software.
Além do estabelecimento de componentes para o framework proposto, durante a
fundamentação teórica realizada e durante o mapeamento sistemático realizado para o respectivo
embasamento desta pesquisa, foi possível para a pesquisadora, através do conhecimento adquirido,
estabelecer alguns aspectos considerados positivos (relevantes) na concepção de um framework,
método ou modelo de avaliação da usabilidade. Dessa forma, o Quadro 17 apresenta alguns destes
aspectos positivos encontrados durante os estudos realizados para embasamento desta pesquisa e
realiza um comparativo com as soluções encontradas que mais se assemelham a estrutura do
framework proposto.
Quadro 17. Aspectos comparativos entre soluções similares
Aspectos positivos Framework Proposto Mede-Pros® Ergolist
Possui características de avaliação (características
representam a informação de forma mais generalizada
acerca da usabilidade).
Possui atributos de avaliação (representam a informação
de forma mais específica/granular acerca da
usabilidade).
Possui questões para avaliação de atributos.
Possui recomendações para avaliação de atributos.
Possui métricas para avaliação de atributos. *não apresenta métricas
para todos os atributos
Inspeção de usabilidade não dependente da expertise do
avaliador com usabilidade.
150
Aplicação de inspeção durante processo de
desenvolvimento de software. *somente para
produto
Indica ambiente de execução para o qual os
atributos/questões de avaliação propostos se aplicam.
Indicação de recurso específico para o qual determinado
atributo/questão se aplica.
Como o objetivo desta seção é apresentar um comparativo entre soluções similares, apenas
Mede-Pros® e Ergolist são utilizados para este comparativo tendo em vista que os demais métodos,
modelos e demais estudos observados, não apresentam uma estrutura de informação tão completa
quanto estes citados (nos demais métodos/modelos/pesquisas, encontrou-se apenas atributos e
questões para avaliação destes atributos ou características e atributos para avaliação sem apresentar
questões para avaliação).
Através do Quadro 17, foi possível observar que o framework proposto possui diversos
aspectos positivos quando comparado com outras soluções similares. Outros aspectos, também
considerados positivos tanto para a pesquisa em si quanto para o framework proposto, foram
adicionados na seção de trabalhos futuros com o objetivo de contribuir ainda mais com a inserção
de práticas de avaliação de usabilidade em processos desenvolvimento de software.
5.6 CONSIDERAÇÕES
Neste capítulo apresentou-se o procedimento de avaliação das contribuições do framework
proposto sobre os fatores de facilidade, motivação e adequação. A avaliação foi planejada através
da metodologia GQM (Goal, Question, Metric) que almeja a interpretação de métricas a partir de
objetivos ou metas estabelecidas (BASILI; CALDEIRA; ROMBACH, 1994). A partir da aplicação
de um questionário com envolvidos com processo de desenvolvimento de software e de
procedimentos de avaliação realizados sobre o framework, adquiriram-se resultados mensuráveis
para aplicação de métricas do modelo de avaliação, inferindo assim a interpretação almejada e
confirmando ou refutando as hipóteses previstas.
O questionário de avaliação da ferramenta evidenciou uma tendência a uma contribuição
ampla nos objetivos avaliados. Apesar disso, alguns comentários dos participantes sugerem uma
revisão de funcionalidades acerca do formato de apresentação dos atributos de usabilidade que
devem ser avaliados em uma aplicação. Os resultados obtidos com a avaliação do framework
151
proposto, alinhados com os objetivos deste trabalho (Seção 1.2) servem ainda para apontar
evidências de contribuições obtidas, verificar as hipóteses supostas, além de identificar
oportunidades de melhorias diversas em relação ao framework de usabilidade desenvolvido (citadas
na seção de trabalhos futuros).
Mesmo que esta pesquisa tenha alcançado seus objetivos com êxito, faz necessário destacar
que conforme foi descrito na Seção 5.2.2, o cenário de participantes com alguma experiência em
avaliações de usabilidade foi bastante reduzida. Este fato fez surgir um possível viés em relação à
avaliação de usabilidade realizada no framework proposto, tendo em vista que caso tais avaliações
fossem realizadas por participantes com experiência em usabilidade, resultados mais aprimorados
poderiam ter sido obtidos. Sugere-se, como trabalho futuro, aplicar o método de avaliação GQM
com participantes especialistas em avaliação da usabilidade.
152
6 CONCLUSÕES
Este trabalho realizou um estudo acerca dos principais atributos de usabilidade, utilizados
para avaliação de aplicações web, desktop e dispositivos móveis. Para este trabalho foi necessária à
análise de estudos de avaliação da usabilidade propostos nas pesquisas, bem como das técnicas de
avaliação utilizadas para avaliação dos ambientes de execução contemplados pela pesquisa. Durante
estes estudos, evidenciou-se o estado da arte para atributos de avaliação da usabilidade, sendo
possível identificar características, atributos, bem como a relação destes de acordo com o ambiente
de execução.
A fim de alcançar os objetivos propostos, o planejamento para a criação de um framework
para apoio em avaliação da usabilidade foi realizado. Os componentes que formam o framework
proposto foram apresentados, bem como suas relações e requisitos para desenvolvimento de uma
ferramenta computacional que comtemple a execução do framework proposto.
A partir do projeto de implementação, realizou-se o desenvolvimento da ferramenta
computacional Framework de Usabilidade que atende a abordagem de componentes propostas. O
framework automatizado foi executado na completude de cadastro de componentes, vinculação
entre os componentes e a respectiva geração de checklists de usabilidade através da
seleção/definição de características e atributos de avaliação de usabilidade para cada ambiente de
execução que se deseja avaliar.
Com base nas contribuições desejadas, tornou-se possível a elaboração de uma avaliação
para a abordagem, tratando dos impactos desta em relação aos fatores de facilidade, motivação e
adequação. Para tanto, optou-se pela obtenção de resultados através da aplicação do método GQM,
bem como da realização de estudos de caso para avaliar o framework proposto em processos de
desenvolvimento de software.
Fundamentando-se nas contribuições implementadas pela ferramenta, tornou-se possível a
elaboração de uma avaliação para o framework proposto, tratando dos impactos em fatores de
facilidade, motivação e adequação do framework proposto. Os objetivos de facilidade, motivação e
adequação foram avaliados por participantes que atuam em projetos/produtos de desenvolvimento
de software em empresas/instituições de Santa Catarina. A avaliação foi evidenciada através das
respostas obtidas na aplicação de um questionário de avaliação (Apêndice G).
153
Pode-se concluir ao final desta pesquisa, que o framework proposto contribuiu
positivamente como ferramenta de apoio para avaliações de usabilidade por envolvidos com
desenvolvimento de software que não possuem experiência efetiva com conceitos ou avaliações
relacionados à usabilidade. Entretanto, foi possível observar também, através dos comentários
realizados pelos participantes, que a ferramenta e o método de avaliação da usabilidade que foram
propostos, ainda podem ser aprimorados. Melhorias tanto na pesquisa, quanto no framework
proposto foram adicionadas na seção de trabalhos futuros.
Por fim, pode-se afirmar que os objetivos gerais e específicos propostos por este trabalho
foram alcançados, embora seja importante destacar que os resultados apresentados não são
definitivos, sendo passíveis de aprimoramentos e revisões, conforme é apresentado na seção de
trabalhos futuros.
6.1 PRINCIPAIS CONTRIBUIÇÕES
As principais contribuições apresentadas por este trabalho foram:
Uma revisão informal que identificou atributos, normas, modelos, questões,
métricas e recomendações relacionadas com a avaliação da usabilidade, obtidas
pelo pesquisador na realização de uma fundamentação teórica;
Uma revisão formal e mapeamento sistemático da literatura, que evidenciou por
meio das pesquisas, o estado da arte acerca de atributos de avaliação da
usabilidade;
Planejamento de um framework para apoio a elaboração de listas de verificação
para inspeção da usabilidade;
Desenvolvimento de uma ferramenta computacional para atendimento a
estruturação da informação do framework proposto, considerando os requisitos e
estrutura de desenvolvimento definidas, disponível para a comunidade de
pesquisa;
Avaliação do framework proposto em projetos de desenvolvimento de software.
154
6.2 SUGESTÃO PARA TRABALHOS FUTUROS
Ao término da pesquisa que resultou neste trabalho, foram identificadas as seguintes
oportunidades de trabalhos futuros em relação à ferramenta de framework proposta e em relação à
pesquisa propriamente dita:
As contribuições possíveis como trabalho futuro para a ferramenta/framework de
usabilidade são:
Apoio automatizado para a respectiva alimentação de informações da estrutura do
framework proposto;
Geração de relatório de inspeções de usabilidade realizadas por ambiente de
execução;
Geração de relatório de inspeções de usabilidade realizadas por disciplina de
desenvolvimento (fase do desenvolvimento de software em que o projeto avaliado se
encontra);
Cadastro das Referências utilizadas na alimentação do framework de forma separada
dos componentes. Posterior vinculação destas referências aos componentes;
Impressão da lista de checklist para realização da inspeção da usabilidade sem
utilização do sistema online;
Filtro de Características de Atributos filtrando por “Recurso Específico”;
A internacionalização da ferramenta, contemplando as opções de interface e material
de apoio em Português ou Inglês;
Aprimorar o mecanismo de seleção de características e atributos de usabilidade
através de algum tipo de apoio ou automação e de acordo com o nível de
conhecimento do inspetor em relação à usabilidade;
Possibilitar a inclusão de novos atributos durante o andamento de uma inspeção de
checklist;
155
Segmentar as questões apresentadas gerando uma sensação de progresso menos
árduo-cansativa;
Algumas possibilidades de contribuições futuras para a pesquisa são:
Orientar a elaboração de checklists de usabilidade de acordo com o papel do
avaliador (participante) no projeto/produto de software que está sendo avaliado;
No framework, na seleção de característica e atributos por ambiente de execução,
adicionar orientações aos inspetores, em relação à escolha de características e
atributos para avaliar (Por exemplo: “Atributo adequado para aplicações com
Interface Multimodal”);
Aprimorar a apresentação de conceitos de características e atributos inseridos e a
inserir no framework;
Aprimorar o nível de informação acerca da usabilidade de acordo com o nível do
usuário em relação ao conhecimento a respeito de usabilidade;
Realizar avaliação de usabilidade utilizando outro modelo de usabilidade proposto na
literatura com o objetivo de realizar comparações com o framework de usabilidade
proposto nesta pesquisa;
Aplicar o método de avaliação GQM utilizando participantes especialistas em
avaliação de usabilidade com o objetivo de encontrar falhas ou novas contribuições
para o framework proposto nesta pesquisa.
156
REFERÊNCIAS
ANDREATOS, A. A framework for website assessment. 2006. Disponível em
<http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1653205>. Acesso em: ago. 2012.
ABRAN, A.; KHELIFI, A.; SURYN, W.; SEFFAH, A. . Usability Meanings and interpretations in
ISO Standards. Software Quality Journal, vol. 11. n. 13, p.325-338, Abr. 2003.
ALONSO RIOS, D.; GARCIA, V.; MOSQUEIRA-REY, E.; BONILLO, V.M. . Usability: A
Critical Analysis and Taxonomy. Journal of Human–Computer Interaction, p. 53-74, 2010.
BAK, J. O.; NGUYEN, K.; RISGAARD, P.; STAGE, J. . Obstacles to usability evaluation in
practice: a survey of software development organizations. 2008. Disponível em
<http://dl.acm.org/ft_gateway.cfm?id=1463164&ftid=582151&dwn=1&CFID=83971131&CFTOK
EN=52581176>. Acesso em: ago. 2012.
BARROS, V. T. O. . Avaliação da interface de um aplicativo computacional através de teste de
usabilidade, questionário ergonômico e análise gráfica do design. 2003. Dissertação (Mestrado em
Engenharia da Computação) - Universidade Federal de Santa Catarina, Florianópolis. 2003.
BATTLESONA B.; BOOTHB, A.; WEINTROPC, J. . Usability Testing of an Academic Library
Web Site: a Case Study. The Journal of Academic Librarianship, v. 27, n. 3, p. 188-198, Mai.
2001.
BASILI, V.R.; CALDEIRA, G.; ROMBACH, D. . The Goal Question Metric Approach. In:
MARCINIAK, J.J. (editor). Encyclopedia of Software Engineering, v.2, New York, NY: John
Wiley & Sons, 1994. p. 528-532.
BASS, L.; JOHN, B.E. . Linking Usability to Software Architecture Patterns Through General
Scenarios. Journal of Systems and Software, v. 66, n.3, p. 187-197, Jun. 2003.
BASTIEN, Christian J.M.; Dominique SCAPIN. Ergonomic Criteria for the evaluation of
human-computer interfaces. Rapport Technique, n.156, jun. 1993.
BETIOL, Adriana H. Avaliação de usabilidade para os computadores de mão: um estudo
comparativo entre três abordagens para ensaios de interação. 2004. Tese de Doutorado -
Universidade Federal de Santa Catarina.
BOEHM, B.W.; BROWN, J. R.; LIPOW, M. . Quantitative evaluation of software quality. In: ICSE
'76 International Conference on Software Engineering, p.592-605, 1976.
BOOTH, Paul. An Introduction to Human-computer Interaction. Hove: Psychology Press,
1989.
BONIFÁCIO, B.; VIANA, D.; VIEIRA, S.; ARAÚJO, C.; CONTE, T. . Aplicando técnicas de
inspeção da usabilidade para avaliar aplicações móveis. In: IHC '10 IX SYMPOSIUM ON
HUMAN FACTORS IN COMPUTING SYSTEMS, 2010, Porto Alegre, Rio Grande do Sul.
Proceedings…ACM PRESS 2010. p. 189-192.
157
BRINCK, Tom; GERGLE, Darren; WOOD, Scoot D.; Usability for the Web: Designing Web
Sites that Work (Interactive Technologies). San Francisco: Morgan Kaufmann, 2002.
CAMPBELL, K.; AUCOIN, R. Values-based design of learning portals as new academic
spaces. Canadá: IGI Publishing Hershey, 2003.
CARNEIRO, C. M. P. S. . Frameworks de aplicações orientadas a objetos – Uma abordagem
interativa e incremental. 2003. Dissertação (Mestrado em Redes de Computadores) - Universidade
Salvador, Salvador, 2003.
CARNEIRO, M. R.; MOURA, H. P. . Uma análise critica do MEDE-PROS. Disponível em:
<http://www.cin.ufpe.br/hermano/laps/download/uma-analise-critica-do-mede-pros.pdf >. Acesso
em: set. 2013.
CISCO. Cisco Visual Networking Index: Forecast and Methodology, 2012–2017. Disponível
em: <
http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11
-481360_ns827_Networking_Solutions_White_Paper.html>. Acesso em: set. 2013.
CONTE, T.; MASSOLAR, J.; MENDES, E.; TRAVASSOS, G.H. . Usability Evaluation Based on
Web Design Perspectives. In: FIRST INTERNATIONAL SYMPOSIUM ON EMPIRICAL
SOFTWARE ENGINEERING AND MENSUREMENT – ESEM 07, 2007. Proceedings... IEEE
Computer Society, 2006. p. 146-155.
CONTE, T.; MASSOLAR, J.; MENDES, E.; TRAVASSOS, G.H. Web usability inspection
technique based on design perspectives. In: Software, IET, 2009. p. 106-123.
CYBIS, W. de A. M. Ergonomia de Interfaces Homem-Computador. 2000. Disponível em:
<http://www.labiutil.inf.ufsc.br/apostila.htm>. Acesso em: ago. 2012.
CYBIS, W. de A. M. Engenharia de Usabilidade: Uma abordagem Ergonômica. 2003.
Disponível em: < http:// http://pt.scribd.com/doc/36899926/9146046-Apostila-IHC>. Acesso em:
ago. 2012.
CYBIS, Walter; BETIOL, H. Adriana; FAUST, Richard. Ergonomia e Usabilidade:
conhecimentos, métodos e aplicações. São Paulo: Novatec, 2007.
DELICE, E.K.; GUNGOR, Z. . The Usability Analysis with Heuristic Evaluation and Analytic
Hierarchy Process. International Journal of Industrial Ergonomics, p. 934-939, 2009.
DIAS, Claudia. Usabilidade na Web:criando portais mais acessíveis. Rio de Janeiro: Alta Books,
2003.
DUARTE FILHO, N.F. . MAQSAAS – Método para avaliação da qualidade em produtos SAAS.
2011. 151 f. Dissertação (Mestrado) - Universidade Federal de Minas Gerais, Belo Horizonte, 2011.
DUBEY, S.K.; RANA, A. . Usability Estimation of Software System by Using Object-Oriented
Metrics. ACM SIGSOFT Software Engineering Notes, v. 36, n.2, p.1-6, Mar. 2011.
158
DUBEY, S.K.; RANA, A. . Analytical Roadmap to Usability Definitions and Decompositions.
International Journal of Engineering Science and Technology, v. 2, 2010.
DUBEY, S.K.; RANA, A.; SHARMA, A. . Usability Evaluation of Object Oriented Software
System using Fuzzy Logic Approach. International Journal of Computer Applications, 2012.
EASON, K. D. . Towards the Experimental Study of Usability. In: BEHAVIOUR AND
INFORMATION TECHNOLOGY, 2007, London, Proceedings…Taylor e Francis, 1984. p. 133-
143.
Ergolist. 2008. Disponível em: <http://www.labiutil.inf.ufsc.br/ergolist/>. Acesso em: set. 2013.
FANG, X.; HOLSAPPLE, C.W. . An Empirical Study of Web Site Navigation Structures. Decision
Support Systems, v. 43, p. 476-491, Mar. 2007.
FAYAD, W.E., SCHIMIDT, D.C., JOHNSON, R.E., Building Application Framework,
ISBN0471-24875-4, 1999.
FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Usability Evaluation Methods for the Web: A
Systematic Mapping Study. Journal Information and Software Technology, vol.53, no 8, p. 789-
817, 2011.
FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Empirical Validation of a Usability Inspection
Method for Model-driven Web Development. Journal of Systems and Software, v. 86, p. 161-
186, 2012.
FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Empirical Validation of a Usability Inspection
Method for Model-driven Web Development. Journal of Systems and Software, vol. 86, p. 161-
186, 2013.
FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Towards to the Validation of a Usability
Evaluation Method for Model-driven Web Development. In: INTERNATIONAL SYMPOSIUM
ON EMPIRICAL SOFTWARE ENGINEERING AND MENSUREMENT - ESEM 10, 2010.
FERREIRA, D.S. . Abordagem híbrida para avaliação da usabilidade de dispositivos móveis. 2007.
226 f. Dissertação (Mestrado) - Universidade Federal de Campina Grande, Paraíba, 2007.
FITZPATRICK, R. Additional quality factors for the world wide web. 2000. Disponível em:
<http://arrow.dit.ie/cgi/viewcontent.cgi?article=1005&context=scschcomcon>. Acesso em: mai.
2012.
FLORES, N.; AGUIAR, A. . Patterns for Understanding Frameworks. In: CONFERENCE ON
PATTERN LANGUAGES OF PROGRAMS, 2008. Nova York. Proceedings… 2008. p. 1-23.
FONTOURA, Marcos; PREE, Wolfrang; RUMPE, Bernhard. The UML profile for framework
architectures. Boston: Addison-Wesley Professional, 2001.
FREEMAN, M.; BOWDEN, M. . Usability as a Panacea. In: INFORMATION SOCIETY (i-
Society), 2010. Londres. Proceedings… 2010. p. 129-134.
159
GAMMA, E.; HELM, R.; JOHNSON, R.; VLISSIDES, J. Design Patterns: Elements of Reusable
Object-Oriented Design, Addison-Wesley, 1995.
GIL, A. C. . Métodos e Técnicas de Pesquisa Social. 5ed. São Paulo: Atlas, 1999.
GIL, A. C. . Como elaborar projetos de pesquisa. São Paulo: Atlas, 2002.
GIMENES, I. M. S., HUZITA, E. H. M.; Desenvolvimento Baseado em Componentes: Conceitos
e Técnicas. Rio de Janeiro: Ciência Moderna, 2005.
GODOY, A.S. Pesquisa qualitativa: tipos fundamentais. RAE – Revista de Administração de
Empresas, v.35, n.3, p.20-29, mai-jun, 1995.
GUERRA, A. C.; COLOMBO, R. M. T. . Qualidade de Produto de Software. 2008. Disponível
em: < http://www.mct.gov.br/upd_blob/0203/203505.pdf >. Acesso em: set. 2013.
HEERMAN, V. . Avaliação ergonômica de interfaces de bases de dados por meio de checklist
especializado. 1997. Dissertação (Mestrado em Engenharia da Produção) - Universidade Federal de
Santa Catarina, Florianópolis, 1997.
HEO, J.; HAM, D.-H.; PARK, S.; SONG, C.; YOON, W.C. . A Framework for Evaluating the
Usability of Mobile Phones based on Multi-level, Hierarchical Model of Usability Factors.
Interacting with Computers Journal. 2009.
HEWETT, T.T. ACM SIGCHI curricula for human-computer interaction. Technical Report -
Association for Computing Machinery, 1992.
HIX, Deborah; HARTSON, H.REX. Developing user interfaces: ensuring usability through
product & process. New York: John Wiley & Sons, 1993.
HOLLINGSED, T.; NOVICK, D.G. . Usability inspection methods after 15 years of research
and practice. 2007. Disponível em <
http://dl.acm.org/citation.cfm?id=1297144.1297200&coll=DL&dl=ACM&CFID=82632887&CFT
OKEN=93594771>. Acesso em: ago. 2013.
HORNBAEK, K.; LAW, E. L.C. . Meta-analysis of correlations among usability measures.
2007. Disponível em: <
http://dl.acm.org/ft_gateway.cfm?id=1240722&type=pdf&coll=DL&dl=ACM&CFID=83971131&
CFTOKEN=52581176>. Acesso em: set. 2013.
HUMAYOUN, S. Incorporating usability evaluation in software development environments.
2011. Tese de Doutorado. “Sapienza” Università di Roma.
HUSSAIN, A.; FERNELEY, E. . Usability Metric for Mobile Application: a Goal Question Metric
(GQM) Approach. In: INTERNATIONAL CONFERENCE ON INFORMATION INTEGRATION
AND WEB-BASED APPLICATIONS & SERVICES, Nova York, 2008. p. 567-570.
IEEE 1061 - 1992. IEEE Standard for a Software Quality Metrics Methodology. 1992.
Disponível em: < http://standards.ieee.org/findstds/standard/1061-1992.html>. Acesso em: mai.
2013.
160
International Organization for Standardization. ISO/IEC 9126:2001: Software engineering –
Product quality. [S.1.], 2001.
International Organization for Standardization. SQUARE 25000: Software Product Quality
Requirements and Evaluation (SQuaRE). [S.1.], 2005.
International Organization for Standardization. ISO 9241-11: Ergonomic Requirements for office
work with visual display terminals (VDTs). [S.1.], 2002.
International Organization for Standardization. ISO 9241-11: Ergonomic Requirements for office
work with visual display terminals (VDTs). [S.1.], 1998.
IPIÑA D. L.; MENDONÇA, P. R. S.; HOPPER, A. . TRIP: A Low-Cost Vision-Based Location
System for Ubiquitous Computing. Personal and Ubiquitous Computing, v. 6, n. 3, p. 206-219,
Mai. 2002.
JALALI, S.; WOHLIN, C. . Systematic Literature Studies: Database Searches vs. Backward
Snowballing. In: INTERNATIONAL SYMPOSIUM ON EMPIRICAL SOFTWARE
ENGINEERING AND MEASUREMENT, 2012, New York. Proceedings…2012, p. 29-38.
JEFFRIES, R. . User Interface Evaluation in the Real World: a Comparison of Four Techniques. In:
CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1991, New York.
Proceedings… 1991. p.119-124.
JOHNSON, Steven. Cultura da Interface: como o computador transforma nossa maneira de criar
e comunicar. Rio de Janeiro: Zahar, 2001.
JOHNSON, R.; Frameworks = (Components + Patterns). Communications of the ACM, v.40,
n.10, p. 39-42, 1997.
JURISTO, N.; FERRE, X. . How to Integrate Usability Into the Software Development
Process. 2006. Disponível em: <
http://dl.acm.org/ft_gateway.cfm?id=1134515&type=pdf&CFID=82632887&CFTOKEN=9359477
1>. Acesso em: out. 2012.
KHAN, K.M. . Assessing Quality of Web Based System. In: AICCSA IEEE/ACS
INTERNATIONAL CONFERENCES, 2008, Doha. Proceedings…2008, p.763-769.
KEEKER, K. Improving Web Site Usability and Appeal. 1997. Disponível em:
<http://uwf.edu/ddawson/d3net/documents/web_usability/MS_Website_Usability.pdf>. Acesso em:
ago. 2013.
KITCHENHAM, B.; CHARTERS, S. . Guidelines for performing Systematic Literature
Reviews in Software Engineering. EBSE Technical Report 2007-001, Kelle University and
University of Durha, 2007. Disponível em:
<http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.154.1446&rep=rep1&type=pdf>.
Acesso em: jul. 2011.
161
LAKATOS, E. M.; MARCONI, M.A. . Fundamentos de metodologia científica. 3. ed. São Paulo:
Atlas, 1991. Disponível em: <http:// http://pt.scribd.com/doc/27945286/Metodologia-Cientifica-
Lakatos-e-Marconi>. Acesso em: 20 ago. 2012.
LALLEMAND, C., Toward a Closer Integration of Usability in Software Development: a
Study of Usability Inputs in a Model-Driven Engineering Process. 2011. Disponível em: <
http://dl.acm.org/ft_gateway.cfm?id=1996541&type=pdf&coll=DL&dl=ACM&CFID=84163595&
CFTOKEN=19579967>. Acesso em: jul. 2013.
LÁRUSDÓTTIR, M.K. The Effect of Usability Evaluation on Software Development Practice.
2009. 41 f. Dissertação (Licenciatura de Filosofia em Ciência da Computação Com Especialização
em Interação Humano-Computador), Universidade Uppsala, Sweden, 2009.
LECEROF, A.; PATERNO, F. . Automatic Support for Usability Evaluation. IEEE Transactions
on Software Engineering, v.24, n.10, p.863-888. Out. 1998.
LILJEGREN, E.; OSVALDER, A. L. . Cognitive Engineering Methods as Usability Evaluation
Tools for Medical Equipment. International Journal of Industrial Ergonomics, v. 34, p. 49-62,
Jul. 2004.
LINDGAARD, G.; DUDEK, C.; SEN, D.; SUMEGI, L.; NOONAN, P. .An Exploration of
Relations Between Visual Appeal, Trustworthiness and Perceived Usability of Homepages In:
ACM TRANSACTIONS ON COMPUTER-HUMAN INTERACTION. Proceedings...ACM New
York, 2011.
MADAN, A.; DUBEY, S. . Usability Evaluation Methods: A literature Review. International
Journal of Engineering Science and Technology (IJEST), v.4, n. 2, p. 590-599, 2012.
MASSEY, A. P.; KHATRI, V.; RAMESH, V. . From the Web to the Wireless Web: Technology
Readiness and Usability. In: INTERNATIONAL CONFERENCE ON SYSTEM SCIENCES,2005
Hawaii. Proceedings…2005.
MASSEY, A. P.; KHATRI, V.; MONTOYA-WEISS, M. M.; Online Services, Customer
Characteristics and Usability Requirements. In: INTERNATIONAL CONFERENCE ON SYSTEM
SCIENCES,2008. Hawai. Proceedings…2008. p. 7-10.
MATTSON, M. Evolution and Composition of Object-Oriented Frameworks. PhD Thesis,
University of Karlskrona/Ronneby, Department of Software Engineering and Computer Science,
2000.
MATTSON, M.; BOSH, J. . Framework Composition: Problems, Causes and Solutions. In:
TECHNOLOGY OF OBJECT-ORIENTED LANGUAGES AND SYSTEMS - TOOLS '97, 1997,
Washington. Proceedings… 1997. p.203.
MAUDA, E.C. . Modelo de qualidade para características internas de segurança de componentes de
software. 2012. 223 f. Dissertação (Mestrado em Ciências) - Pontifícia Universidade Católica do
Paraná, Curitiba, 2012.
162
MAYZ, M. A.; CURTINO, D. M. DE LA ROSA, A. . Avoiding Laboratories to Collect Usability
Data: Two Software Applications. In: INFORMATION SYSTEMS AND TECHNOLOGIES, 2012.
Proceedings... 2012. p.1,5,20-23.
MCCALL, J.A.; RICHARDS, P.K.; WALTERS, G.F. Factors in Software Quality. Concepts and
Definitions of Software Quality. Final Technical Report, v.1, novembro, 1977.
MEDEIROS, A. M. . ISO 9241: uma proposta de utilização da norma para avaliação do grau de
satisfação de usuários de software. 1999. 146 f. Dissertação (Mestrado em Engenharia da Produção)
- Universidade Federal de Santa Catarina, Florianópolis, 1999.
MEMORIA, Felipe F.P. Avaliação Ergonômica da Usabilidade da Navegação Estruturada.
2004. 245 f. Dissertação de Mestrado. PUC-Rio, Pontifícia Universidade Católica do Rio de
Janeiro.
MOÇO, S. . O uso de cenários como uma técnica de apoio para avaliações ergonômicas de
softwares interativos. 1996. 93 f. Dissertação (Mestrado em Engenharia da Produção) -
Universidade Federal de Santa Catarina, Florianópolis, 1996.
MORAES, Anamaria. Design e Avaliação de Interface. Rio de Janeiro: RioBooks, 2002.
MORAN, T. P. The Command Language Grammar: a Representation for the User Interface of
Interactive Computer Systems. International Journal of Man-Machine Studies, v.15, p. 3-50,
1981.
MOSQUEIRA-REY, E.; ALONSO-RIOS, D.; MORET-BONILLO, V. . Usability Taxonomy and
Context-of-use Taxonomy for Usability analysis. In: SYSTEMS, MAN AND CYBERNETICS.
2009. Proceedings… 2009. p. 812-817.
MURREN, A.; CURRIE, L.M.; BAKKEN, S. PATEL, V.L.;CIMIMO, J.J. . Heuristic Evaluation of
Paper-based Web Pages: a Simplified Inspection Usability Methodology. Journal of Biomedical
Informatics, v.39, p. 412-423, 2006.
NABIL, D.; MOSAD, A.; HEFNY, H.A. . Web-Based Applications Quality Factors: A survey and
a Proposed Conceptual Model. Egyptian Informatics Journal, vol.12, no 3, p. 211-217, 2011.
NETO, A.T., BITTAR, T.J., FORTES, R.P.M., FELIZARDO, K. . Developing and Evaluating Web
Multimodal-Interfaces – a Case Study With Usability Principles. In: ACM SYMPOSIUM ON
APPLIED COMPUTING (SAC), 2009, New York. Proceedings… New York, 2009, p.116-120.
NIELSEN, Jakob. Usability Engineering. São Francisco: Academic Press, 1993.
NIELSEN, N. Enhancing the Explanatory Power of Usability Heuristics, In: COMPUTING
SYSTEMS (CHI 94), 1994, Morristown. Proceedings… Morristown, 1994. p.152-158.
NIELSEN. Jakob. How to Conduct a Heuristic Evaluation. 1995. Disponível em:
<http://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/>. Acesso em: set. 2012.
NIELSEN, Jakob; MACK, Robert L.; Usability Inspection Methods. New York: John Wiley &
Sons, 1994.
163
NIELSEN, J. Enterprise Usability. Disponível em:<http://www.nngroup.com/articles/enterprise-
usability/>. Acesso em: fev. 2014.
OZTEKIN, A. A Decision Support System for Usability Evaluation of Web-based Information
Systems. International Journal, v.38, p. 2110-2118, 2011.
OZTEKIN, A.; KONG, Z.J.; UYSAl, O. . UseLearn: A Novel Checklist and Usability Evaluation
Method for ELearning Systems by Criticality Metric Analysis. International Journal of
Industrial Ergonomics, v.40, p. 455-469, 2010.
OYOMO, W.; JAPPINEN, P.; KERTTULLA, E.; HEIKKINEN. . Usability Study of ME2.0. In:
PERSONAL AND UBIQUITOUS COMPUTING, 2013, Finlândia. Proceedings…2013. p.305-
319.
QI, S., IP, C., LEUNG, R., LAW, R., A. . New Framework on Website Evaluation, In: E-
BUSINESS AND E-GOVERNMENT(ICEE), 2010, Guangzhou. Proceedings… Guangzhou, 2010.
p.78-81.
PADILHA, A.V. . Usabilidade na web: uma proposta de questionário para avaliação do grau de
satisfação de usuários do comércio eletrônico. 2004. 95 f. Dissertação (Mestrado em Ciência da
Computação) - Universidade Federal de Santa Catarina, Florianópolis, 2004.
PINELLE, D.; GUTWIN, C. . Evaluating Teamwork Support in Tabletop Groupware Applications
Using Collaboration Usability Analysis. Journal Personal and Ubiquitous Computing, v.12, p.
237-254, 2008.
PINTO, S. C. C. S. Composição em web frameworks. Tese de doutorado, Departamento de
Informática PUC-Rio, 2000.
PREE, W. Framework Patterns. New York: SIGS Books, 1996.
PREECE, Jennifer. Human-Computer interaction. New York: Addison-Wesley Publishing
Company, 1994.
PREECE, J.; ROGERS Y.; SHARP H. . Design de interação: Além da interação homem-
computador. Porto Alegre: Bookman: 2005.
PRESSMAN, Roger. Software Engineering: A Practitioner's Approach. Estados Unidos:
McGraw-Hill Science, 2001.
PUNCHOOJIT, L.; CHINTAKOVID T. . Influence of Age Group Differences on Website
Cultural Usability. In: ICT AND KNOWLEDGE ENGINEERING, 2012. Proceedings... ICT &
Knowledge Engineering, 2012. p.5,12, 12-13.
RAMAN, T.V. . Design Principles for Multimodal Interaction. In: MMI WORKSHOP,
COMPUTER HUMAN INTERFACES, 2003. New York. Proceedings... ACM Press, 2003. p.5-10.
RAVDEN, Susannah; JOHNSON, Graham.; Evaluating usability of human-computer
interfaces: a practical method. New York: Halsted Press, 1989.
164
REEVES, L.M.;LAY, J.; LARSON, J.A.; OVIATT, S.; BALAJI, T.S.BUISINE, S.; COLLINGS,
P.; COHEN, P.; KRAAL, B.; MARTIN, J.C.; MCTEAR, M. . Guidelines for Multimodal User
Interface Design. In: COMMUNICATIONS OF THE ACM – MULTIMODAL INTERFACES
THAT FLEX, ADAPT, AND PERSIST, 2004, New York. Proceedings... ACM Press, 2004. p.57-
59.
RYAN, C.; GONSALVES, A. .The Effect of Context and Application Type on Mobile Usability:
an Empirical Study. In: AUSTRALIAN CONFERENCE ON COMPUTER SCIENCE, 2005,
Australia. Proceedings… ACSC '05, 2005. p. 115-124.
ROUSE, M. Definition framework. Disponível em:
<http://whatis.techtarget.com/definition/framework >. Acesso: 2 jun. 2012.
SALVIANO, C. F. Uma proposta orientada a perfis de capacidade de processo para evolução
da melhoria do processo de software. 2006. Tese de doutorado. Universidade Estadual de
Campinas.
SANTOS, F.K. JAM - Um jogo de aprendizagem multidisciplinar. 2010. 65 f. Trabalho de
Conclusão de Curso (Graduação em Informática) - Universidade Estadual do Oeste do Paraná –
UNIOESTE, Cascavel, 2010.
SANTOS, Luis G. Usabilidade de interfaces para sistemas de recuperação de informação na
web: Estudo de caso de bibliotecas on-line de universidades federais brasileiras. 2006. Tese de
Doutorado. Pontifícia Universidade Católica do Rio de Janeiro.
SANTOS, F.; CONTE, T. . Evoluindo um Assistente de Apoio à Inspeção de Usabilidade Através
de Estudo Experimentais. In: XIV Ibero-American Conference on Software Engineering (CIbSE
2011), 2011, Rio de Janeiro. Proceedings…2011. p. 197-210.
SAURO, J., KINDLUND, E. . A Method to Standardize Usability Metrics into a Single Score. In:
CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2005, New York.
Proceedings… CHI '05, 2005. p.401-409.
SAURO, J.; LEWIS, J. R. . Correlations Among Prototypical Usability Metrics: Evidence for the
Construct of Usability. Computer Human Interaction, Abr. 2009.
SCHAFFER, E. Institutionalization of Usability. São Francisco: Addison-Wesley Professional,
2004.
SCHREIBER, D.; HARTMANN, M.; FLENTEGE, F.; MUHLHAUSER, M.; GORTZ, M.;
ZIEGERT, T. . Web Based Evaluation of Proactive User Interfaces. Journal on Multimodal User
Interfaces, v. 2, p. 61-72, jul. 2008.
SEFFAH, A.; DONYAEE, M.; KLINE, R.B.; PADDA, H.K. . Usability Measurement and Metrics:
A Consolidated Model. Software Quality Journal, vol.14, no 2, p. 159-178, 2006.
SEFFAH, A.; DONYAEE, M.; KECECI, N. . QUIM: a Framework for Quantifying Usability
Metrics in Software Quality Models. Quality Software, p. 311-318, 2001.
165
SHACKEL, Brian; RICHARDSON, Simon.; Human factors for informatics usability. New
York: Cambridge University Press, 1991.
SIGNORE, O., A Comprehensive Model for Web Sites Quality. In: SEVENTH IEEE
INTERNATIONAL SYMPOSIUM ON WEB SITE EVOLUTION, 2005. Proceedings… 2005,
p.30-36.
SILVA FILHO. Antônio M. Percepção Humana na Interação Humano-Computador. 2003.
Revista Espaço Acadêmico. 2003. Disponível em:
<http://www.espacoacademico.com.br/025/25amsf.htm>. Acesso em: ago. 2012.
SILVA FILHO. A. M. A importância da Usabilidade no desenvolvimento de sistemas
interativos. 2008. Disponível em: < http://www.devmedia.com.br/revista-engenharia-de-software-
5/10242>. Acesso em: ago. 2012.
SILVA JUNIOR, A. F. . Características de ferramentas computacionais para produção e
multiplicação de material didático. 2008. Dissertação (Mestrado) - Universidade Tecnológica
Federal do Paraná – UTFPR, Curitiba, 2008.
SILVA, Ricardo P. Suporte ao desenvolvimento e uso de frameworks e componentes. 2000.
Tese de Doutorado. Universidade Federal do Rio Grande Do Sul.
SILVA, Edna L.; MENEZES, Estera M.; Metodologia da Pesquisa e Elaboração de Dissertação.
3ed. Florianópolis: UFSC, 2001.
SOUZA, Luciano S. . Integrando atividades baseadas em abordagens da IHC às praticas da
engenharia de software em projetos de interface de usuário de dispositivos móveis. 2007. 149 f.
Dissertação (Mestrado) - Universidade Paulista – UNIP, São Paulo, 2007.
SPRIESTERSBACH A.; SPRINGER T. Quality Attributes in Mobile Web Application
Development. Springer Science, 2004.
TIRAPAT, T.; ACHALAKUL, T. . Usability Assessment for Hyperlink Methods. In:
INTERNATIONAL CONFERENCE ON HYBRID INFORMATION TECHNOLOGY, 2006.
Proceedings... 2006. p.252-256.
TRIACCA, L.; INVERSINI, A.; BOLCHINI, D. . Evaluating WebU With Mile+. In:
INTERNATIONAL SYSMPOSIUM ON WEB EVOLUTION, 2005. Proceedings... 2005. p.22-29.
VALIATI, E. R. A. Avaliação de usabilidade de técnicas de visualização de informações
multidimensionais. 2008. 219 f. Tese de Doutorado. UFRGS, Universidade Federal do Rio Grande
do Sul.
VILAÇA, M.L.C.. Pesquisa e Ensino: Considerações e Reflexões. Revista e-scrita: Revista do
Curso de Letras da UNIABEU. Uniabeu, v.1, n.2, Mai-Ago 2010.
ZOUCAS, Alessandra C. Um framework de métodos para o desenvolvimento de modelos de
capacidade de processo. Dissertação de Mestrado pela Universidade do Vale do Itajaí, 2010.
166
YUSOF, U. K.; KHAW, L. K.; CH’NG, H.Y. . Balancing Between Usability and Aesthetics of Web
Design. Information Technology, p. 1-6, 2010.
WAH, N. L. . An Improved Approach for Web Page Quality Assessment. In: IEEE STUDENT
CONFERENCE, 2011, Cyberjaya. Proceedings… Cyberjaya, 2011, p.315-320.
WINTER, S.; WAGNER, S.; DEISSENBOECK, F. . A Comprehensive Model of Usability. In:
ENGINEERING INTERACTIVE SYSTEM, 2007, Salamanca. Proceedings… 2007 - EIS '07,
2007. p.106-122.
WINCLER, M.A.; PIMENTA, M.S. Avaliação de Usabilidade de Sites Web, In: Escola Regional
de Informática, SBC, Porto Alegre, Maio de 2002. p. 85-137.
WIRFS-BROCK, R.J.; JOHNSON, R.E. . Surveying Current Research in Object-oriented Design.
Communications of the ACM, v.33, n.9, p.104-124, Set, 1990.
WIXSON, D.; WILSON, C.; The usability Engineering Framework for Product Design and
Evaluation. Handbook of Human-Computer Interaction. 2. ed. Holanda: Elsevier Science, 1997.
167
APÊNDICE A – ESTUDOS PRIMÁRIOS DO MAPEAMENTO
[#1]G. Lindgaard, C. Dudek, D. Sen, L. Sumegi, and P. Noonan, “An exploration of relations
between visual appeal, trustworthiness and perceived usability of homepages,” ACM Transactions
on Computer-Human Interaction (TOCHI), vol. 18, Apr. 2011, doi: 10.1145/1959022.1959023.
[#2]R. West and K. Lehman, “Automated summative usability studies: an empirical evaluation,”
Proc. of the SIGCHI Conference on Human Factors in Computing Systems (CHI 06), Apr. 2006,
pp. 631-639, doi: 10.1145/1124772.1124867.
[#3]A. T. Neto, T.J. Bittar, R. P. M. Fortes, and K. Felizardo, “Developing and evaluating web
multimodal interfaces - a case study with usability principles,” Proc. of the 2009 ACM symposium
on Applied Computing (SAC 09), Mar. 2009, pp. 116-120, doi: 10.1145/1529282.1529306.
[#4]A. Seffah, M. Donyanee, R. B. Kline and H. K.Padda, “Usability measurement and metrics: A
consolidated model,” Software Quality Control, vol. 14, Jun. 2006, pp. 159-178, doi:
10.1007/s11219-006-7600-8.
[#5]P.A. Davis and F.M. Shipman, “Learning usability assessment models for web sites,” Proc. of
the 16th international conference on Intelligent user interfaces ( IUI 11), Feb. 2011, pp. 195-204,
doi: 10.1145/1943403.1943433.
[#6]C. Ryan and A. Gonsalves, “The effect of context and application type on mobile usability: an
empirical study,” Proc. of the Twenty-eighth Australasian conference on Computer Science (ACSC
05), 2005, pp. 115-124, doi: 10.1.1.83.1281.
[#7]A. Fernandez, S. Abrahão, and E. Insfran, “Towards to the validation of a usability evaluation
method for model-driven web development,” Proc. of the 2010 ACM-IEEE International
Symposium on Empirical Software Engineering and Measurement (ESEM 10), Sep. 2010, doi:
10.1145/1852786.1852855.
[#8]A. P. Massey, V. Khatri, and V. Ramesh, “From the Web to the Wireless Web: Technology
Readiness and Usability,” Proc. of the 38th Hawaii International Conference on System Sciences
(HICSS 05), Jan. 2005, doi: 10.1109/HICSS.2005.281.
[#9]A. Anandhan, S. Dhandapani, H. Reza and K. Namasivayam, “Web Usability Testing ? CARE
Methodology,” Proc. of the Third International Conference on Information Technology: New
Generations (ITNG 06), 2006, pp. 495-500, doi: 10.1109/ITNG.2006.141.
[#10]T. Tirapat, T. Achalakul, “Usability Assessment for Hyperlink Methods,” Proc. of the 2006
International Conference on Hybrid Information Technology (ICHIT 06), 2006, pp. 252-256, doi:
10.1109/ICHIT.2006.248.
[#11]T. Conte, J.Massolar, E. Mendes, and G. H. Travassos, “Usability Evaluation Based on Web
Design Perspectives,” Proc. of the First International Symposium on Empirical Software
Engineering and Measurement (ESEM 07), 2007, pp. 146-155, doi: 10.1109/ESEM.2007.84.
168
[#12]A. P. Massey, V. Khatri, and M.M. Montoya-Weiss, “Online Services, Customer
Characteristics and Usability Requirements,” Proc. of the 41st Hawaii International Conference on
System Sciences, Jan. 2008, pp. 7-10, doi: 10.1109/HICSS.2008.337.
[#13]H. Y. Kao, “Usability Testing of AMC Hospital's Website for Home Users: Case Study for
On-Site Registration Design,” Proc. of the Third International Conference on International
Information Hiding and Multimedia Signal Processing (IIH-MSP 07), 2007, pp. 619-622, doi:
10.1109/IIH-MSP.2007.315.
[#14]A. Granic, I. Mitrovic, and N. Marangunie, “Usability Evaluation of Web Portals,” Proc. of
the ITI 2008 30th Int. Conf. on Information Technology Interfaces (ITI 08), Jun. 2008, pp. 427-432,
doi: 10.1109/ITI.2008.4588448.
[#15]T. Conte, J. Massolar, and E. Mendes, and G.H. Travassos, “Web usability inspection
technique based on design perspectives,,” Software, IET, vol. 3, Apr. 2009, pp. 106-123, doi:
10.1049/iet-sen.2008.0021.
[#16]U. K. Yusof, L.K. Khaw, H.Y. Ch’ng, and B. J. Neowa, “Balancing between usability and
aesthetics of Web design,” Proc. Information Technology (ITSIM 10), Jun. 2010, pp. 1-6, doi:
10.1109/ITSIM.2010.5561310.
[#17]A. Al-Wabil, L. Al-Husian, R. Al-Murshad, and A. Al-Nafjan, “Applying the Retrospective
Think-Aloud Protocol in Usability Evaluations with Children: Seeing Through Children’s Eyes,”
Proc. User Science and Engineering (i-USEr) Dec. 2010, pp.98-103, doi:
10.1109/IUSER.2010.5716731.
[#18]W.F.W. Ahmad, S. Sulaiman, and F. S. Johari, “Usability Management System
(USEMATE):A Web-Based Automated System for Managing Usability Testing Systematically,”
Proc. International Conference on User Science Engineering (i-USEr), Dec. 2010, pp. 110-115, doi:
10.1109/IUSER.2010.5716734.
[#19]M. Freeman and M. Bowden, “Usability as a Panacea,” Proc Information Society (i-Society),
Jun. 2010, pp. 129-134.
[#20]L. Punchoojit, T. Chintakovid, “Influence of Age Group Differences on Website Cultural
Usability,” Proc. ICT and Knowledge Engineering (ICT & Knowledge Engineering), Jan. 2012, pp.
5-12, doi: 10.1109/ICTKE.2012.6152413.
[#21]M. A. Mayz, D. M Curtino, and A. de la Rosa, “Avoiding laboratories to collect usability data:
two software applications,” Proc. Information Systems and Technologies (CISTI), Jun. 2012, pp.
20-23.
[#22]A. Oztekin, “A decision support system for usability evaluation of web-based information
systems,” Expert Systems with Applications: An International Journal, vol. 38, Mar. 2011, pp.
2110-2118, doi: 10.1016/j.eswa.2010.07.151.
[#23]X. Fang and C. W. Holsapple, “An empirical study of web site navigation structures' impacts
on web site usability,” Decision Support Systems, vol. 43, Mar. 2007, pp. 476-491.
169
[#24]A. Fernandez, S. Abrahão and E. Insfran, “Empirical validation of a usability inspection
method for model-driven Web development,” Journal of Systems and Software, vol. 86, Jan. 2012,
pp. 161-186, doi: 10.1016/j.jss.2012.07.043.
[#25]M. Allen, L.M. Currie, S. Bakken, V.L. Patel and J.J.Cimino, “Heuristic evaluation of paper-
based Web pages: a simplified inspection usability methodology,” Journal of Biomedical
Informatics, vol. 39, Aug. 2006, pp. 412-423, doi: 10.1016/j.jbi.2005.10.004.
[#26]C. K. Coursaris, K. Hassanein, M. M. Head and N. Bontis, “The impact of distractions on the
usability and intention to use mobile devices for wireless data services,” Computers in Human
Behavior, vol. 28, Jul. 2012, pp. 1439-1449, doi: 10.1016/j.chb.2012.03.006.
[#27]E. K. Delice and Z. Gungor, “The usability analysis with heuristic evaluation and analytic
hierarchy process,” International Journal of Industrial Ergonomics, vol. 39, Sep. 2009, pp. 934-939,
doi: 10.1016/j.ergon.2009.08.005.
[#28]A. Holzinger and M. Errath, “Mobile computer Web-application design in medicine: some
research based guidelines,” Universal Access in the Information Society, vol. 6, May. 2007, pp. 31-
41, doi: 10.1007/s10209-007-0074-z.
[#29]M. Vigo, A. Aizpurua, M. Arrue and J. Abascal, “Quantitative assessment of mobile web
guidelines conformance,” Universal Access in the Information Society, vol. 10, Mar. 2011, pp. 33-
49, doi: 10.1007/s10209-010-0186-8.
[#30]W. Oyomno, P. Jappinen, E. Kerttula and k. Heikkinen, “Usability study of ME2.0,” Personal
and Ubiquitous Computing, vol. 17, Feb. 2013, pp.305-319, doi: 10.1007/s00779-011-0495-9.
[#31]D, Schreiber, M. Hartmann, F. Flentge, M. Mühlhäuser, M. Görtz and Thomas Ziegert, “Web
based evaluation of proactive user interfaces,” Journal on Multimodal User Interfaces, vol. 2, Jul.
2008, pp.61-72, doi: 10.1007/s12193-008-0001-5.
[#35]J. Nielsen, Usability Engineering.AP Professional, 1993.
[#36]ISO/IEC FDIS 25010, “Systems and software engineering – Systems and Software Quality
Requirements and Evaluation (SQUARE) – System and software quality models”, 2010
[#37]MICROSOFT, “Windows Enviroment, ” unpublished, 2013.
[#38]T.V. RAMAN, “Design principles for multimodal interaction,” Proc. MMI Workshop,
Computer Human Interfaces (CHI 03), pp. 5-10.
[#39]L.M. Reeves, J. Lai, J.A. Larson, S. Oviatt, T.S. Balaji, S.Buisine, P. Collings, P.Cohen, B.
Kraal, J.C. Martin, M. Mctear, T. Raman, K.M. Stanney, H. Su, and Q.Y. Wang, “Guidelines for
multimodal user interface design,” Communications of the ACM – Multimodal Interfaces that flex,
adapt, and persist, vol. 47, Jan. 2004, pp. 57-59, doi: 10.1145/962081.962106.
[#40]A. Fernandez, E. Insfran, and S. Abrahão, “Integrating a Usability Model into Model-Driven
Web Development Processes,” Computer Science, vol. 5802, 2009, pp. 497-510, doi: 10.1007/978-
3-642-04409-0_49.
170
[#41]J.M.C.Bastien, and D.L.Scapin, “Ergonomic Criteria for the Evaluation of Human-Computer
Interfaces, ” Institut National de Recherche en Informatique et en Automatique, vol. 156, Jun. 1993.
[#42]ISO 9241-11, “Ergonomic requirements for office work with visual display terminals (VDTs)
– Part 11: Guidance on usability”. Guidance on usability, 1998.
[#43]K.Keeker, “Improving Web Site Usability and Appeal,”, 1997.
171
APÊNDICE B – LISTA DE CARACTERÍSTICAS
CARACTERÍSTICA CONCEITUAÇÃOAcessibilidade Corresponde à prática de implementar sistemas que possam ser utilizados por todas as pessoas, sejam portadoras de deficiências ou não.
Adequação Mede o quanto o conjunto de funcionalidades que o sistema apresenta é adequado as necessidades do usuário.
Ajuda Conjunto de documentos, impresso ou em forma de arquivo, que devem ser fornecidos com o sistema para orientar e ajudar o usuário final.
Atributos "avulsos" Este é um agrupamento que foi criado para os atributos "avulsos", ou seja, para aqueles atributos para o qual não foi encontrado vinculação com Característica.
Capacidade de Aprendizado
Determina se é fácil de aprender a usar o sistema. A capacidade de aprendizado está vinculada ao grau de dificuldade para iniciar as tarefas fundamentais. Também
pode ser sintetizado no tempo e o esforço necessários para os usuários atingirem um determinado nível de desempenho.
Carga de Trabalho (Memória)
Corresponde a capacidade do sistema em solicitar o mínimo de ações para executar uma tarefa. Quanto menos passos o usuário deva tomar, melhor, pois reduz a
memorização e reduz a possibilidade de cometer erros.
Confiabilidade Evidencia a capacidade do produto de manter seu desempenho ao longo do tempo e em condições estabelecidas.
Consistência na interação Corresponde a coerência no modo que os aspectos de interface são mantidos em contextos semelhantes e são diferentes quando aplicado a contextos diferentes.
Controle Do usuário Corresponde a possibilidade/facilidade do usuário estar sob o controle das ações do sistema e desfazer ou refazer alguma ação.
Eficácia Avalia o desempenho de uma tarefa focado a um usuário ou a um ambiente específico.
Eficiência Corresponde ao sistema ser eficiente na tarefa que se propõe a realizar.
Facilidade de uso
Avalia o esforço físico e cognitivo do usuário durante o processo de interação, medindo a velocidade de uso e o número de erros cometidos durante a execução de
uma determinada tarefa.
Flexibilidade Corresponde a capacidade do sistema em se comportar conforme as necessidades e preferências do usuário.
Gestão de Erros A gestão de erros diz respeito a todos os mecanismos que permitem evitar ou reduzir a ocorrência de erros e que favoreçam sua correção.
Inteligibilidade Corresponde a capacidade do sistema em possibilitar ao usuário identificar se o sistema é apropriado para executar determinada tarefa.
Mapeamento entre sistema e mundo real Corresponde a não usar palavras de sistema, que não fazem sentido pro usuário. Evitar que os textos falem mais do que o usuário necessita saber.
Multimodal Agrupamento para atributos de interface Multimodal.
Navegabilidade/Orientação
Corresponde aos elementos que o sistema utiliza para informar ao usuário onde este se encontra dentro do sistema, bem como a orientação desta navegação para o
usuário realizar determinadas ações, como, por exemplo, entrada de dados.
Operacionalidade Corresponde a forma com que o sistema facilita a sua operação por parte do usuário.
Produtividade
Corresponde a produtividade do usuário em relação ao sistema (quanto mais rápido o usuário aprende a usar o sistema, mais rápido memoria as operações e comete
menos erros).
Recursos visuais Conjunto de recursos de tela para apoiar a interação com o usuário.
Satisfação Corresponde a percepção do usuário com o uso do sistema. Este atributo é totalmente subjetivo, e está diretamente ligado à opinião do usuário.
Segurança Corresponde ao fato de um sistema limitar o risco de danos às pessoas ou outros recursos, tais como hardware ou informações armazenadas.
Universalidade
Corresponde a qualidade do sistema em se tornar universal. Trata-se das preocupações e tratamentos que em um sistema possui para oferecer informação a uma
diversidade de usuários com diferentes origens culturais.
Utilidade
Corresponde as funcionalidades do sistema que permite aos usuários resolver problemas reais de uma maneira aceitável, ou seja, o sistema possui utilidade prática
que em parte, reflete o quão de perto o sistema suporta o modelo de tarefas do próprio usuário.
172
APÊNDICE C – LISTA DE ATRIBUTOS
ATRIBUTO CONCEITUAÇÃOAcessibilidade Corresponde à prática de fazer sistemas que possam ser utilizados por todas as pessoas, sejam portadoras de deficiências ou não.
Ações Mínimas Corresponde a capacidade do produto de software em ajudar os usuários a alcançar as suas tarefas em um número mínimo de etapas.
Adptação ao Meio Interfaces devem adaptar-se ao ambiente do usuário para garantir que a melhor maneira de executar uma tarefa em um determinado momento esteja disponível.
Agrupamento e distinção de
Itens Corresponde ao formatos dos itens (elementos da tela) como meio de transmitir associações e diferenças.
Ajuda Corresponde aos comentários de ajuda disponibilizados para o usuário.
Animações e Transições Corresponde aos itens de animação apresentados em tela e a respectiva transição entre estas telas.
Aplicabilidade Corresponde as funcionalidades disponíveis na interface que são pertinentes a um norma.
Atratividade/Agradabilidade Corresponde a capacidade do sistema atrair o usuário, ser agradável.
Auto-Descritivo
Corresponde ao fato de que cada passo apresentado pelo sistema é imediatamente compreendido pelo usuário. Cada passo do programa deve ser
imediatamente compreensível.
Capacidade de Aprendizado
Determina se é fácil de aprender a usar o sistema. A capacidade de aprendizado está vinculada ao grau de dificuldade para iniciar as tarefas fundamentais. Também
pode ser sintetizado no tempo e o esforço necessários para os usuários atingirem um determinado nível de desempenho.
Carga de Memória
Mínima/Brevidade Corresponde a quantidade mínima de informação que um usuário necessita ter em mente a fim de conseguir uma tarefa especificada.
Comandos Conjunto de Interações básicas necessárias para controlar uma função da aplicação.
Compatibilidade
Corresponde a capacidade do sistema em estar de acordo com normas e convenções relacionadas à usabilidade, atendendo as expectativas e necessidades do usuário
em sua tarefa.
Componentes Trata-se de tarefas relacionadas logicamente que apresentam-se no mesmo formato em telas distintas.
Compreensibilidade Corresponde ao esforço do usuário para reconhecer o conceito lógico do sistema.
Comunicabilidade
Propriedade de transmitir ao usuário de forma eficaz e eficiente as intenções e princípios de interação que guiaram o seu design.
Comunidade
Corresponde a funcionalidades do sistema que permite aos usuários manter contato, fazer novos amigos, aprender sobre o mundo, mostrar habilidades, apreciar uns
aos outros e apenas divertir-se.
Concisão Corresponde ao tamanho dos códigos e termos apresentados e introduzidos no sistema.
Consistência Corresponde a coerência no modo que os aspectos de interface são mantidos em contextos semelhantes e são diferentes quando aplicado a contextos diferentes.
Conteúdo de qualidade Utilizar conteúdo que seja compatível com a capacidade de compreensão e leitura dos usuários.
Contraste Corresponde aos itens de contraste na apresentação da informação da interface do sistema para o usuário.
Controlabilidade/Ação
explícita do usuário Corresponde ao fato de os usuários sentirem que estão no controle do sistema.
Coordenação Organização e Decomposição de tarefas para o realização do usuário.
Cores
O uso adequado das cores é muito importante. A cor é considerada o elemento visual da interface que influencia diretamente na qualidade da apresentação das
informações transmitidas.
Densidade Informacional Corresponde a densidade informacional das telas apresentadas pelo sistema.
173
Desempenho Corresponde a relação entre velocidade de processamento, o tempo de resposta, o consumo de recursos, rendimento e eficiência.
Design Entrada e Saída
O designer deve usar várias modalidades de elementos para maximizar o cognitivo humano e capacidades físicas. Além disso, deve evitar mostrar informações
desnecessárias em diferentes modalidades, visando maximizar os benefícios de cada modalidade e reduzir a carga de memória do usuário através da execução da
tarefa.
Design estético
Evitar que o design fale mais do que o usuário necessita saber. Propriedade de transmitir ao usuário de forma eficaz e eficiente as intenções e princípios de
interação que guiaram o seu design.
Dispositivos Corresponde aos itens de dispositivo apresentados em tela.
Eficácia Avalia o desempenho de uma tarefa focado a um usuário ou a um ambiente específico.
Eficiência Corresponde ao sistema ser eficiente na tarefa que se propõe a realizar.
Elementos gráficos Representa Todos os elementos gráficos utilizados em tela para facilitar a interação com o usuário.
Emoção Corresponde à experiência emocional do utilizador, em todas as dimensões do design emocional. Se refere ao grau que o site evoca de reações emocionais.
Escalabilidade
Corresponde a capacidade de um componente ou do próprio sistema em manter o mesmo desempenho quando há um aumento no número de usuários e/ou de
requisições simultâneas.
Estado de interação
compartilhada
Várias modalidades devem compartilhar o estado de interação, de modo que durante a transição de uma interface para outra, ou se o usuário deseja mudar a
modalidade em uma determinada seqüência do diálogo, os diversos meios disponíveis serão atualizados.
Estrutura Corresponde a organização e facilidade de navegação de um site.
Experiência do Usuário Corresponde a possibilidade de diferentes níveis de experiência de usuário têm iguais possibilidades de obter sucesso em seus objetivos.
Facilidade de Uso
Representa o quão fácil de aprender um sistema se apresenta. Avalia o esforço físico e cognitivo do usuário durante o processo de interação, medindo a velocidade
de uso e o número de erros cometidos durante a execução de uma determinada tarefa.
Familiaridade/Padrões Corresponde ao fato de a interface de usuário oferecer elementos reconhecíveis e interações que pode ser entendido pelo usuário.
Feedback Corresponde a qualidade do feedback imediato às ações do usuário.
Flexibilidade
Este critério se aplica quando há grande variedade de estratégias e de
condições de contexto para a realização de uma tarefa. O sistema deve ser flexível o bastante para se tornar ágil aos usuários avançados. O sistema deve permitir
personalizar as apresentações e os diálogos.
Fonte
Corresponde as fontes utilizadas no site, bem como a combinação desta fonte com um determinado tamanho. Adequação da fonte ao contexto.
Funcionalidade
Corresponde as funcionalidades que a interface disponibiliza, sendo que estas funcionalidades devem executar efetivamente e de forma correta a tarefa que se
propõe a fazer.
Garantia Corresponde a responsabilidade do fornecedor do sistema em caso de utilização fraudulenta de informações pessoais de usuários.
Ícones Correspondente a utilização de ícones em um sistema.
Importância do Código
Corresponde a clareza com que os códigos e denominações são apresentados para o usuário. Deve haver uma relação semântica forte entre os códigos e os itens ou
ações às que eles se referem.
Informações Textuais Corresponde ao tamanho da tela relacionado com a capacidade de compreensão do usuário em relação as informações apresentadas.
Inteligibilidade Corresponde a capacidade do sistema em possibilitar ao usuário identificar se o sistema é apropriado para executar determinada tarefa.
Interface/Layout Corresponde as solicitações do usuário em relação as apresentações do sistema.
Internacionalização Corresponde a capacidade do sistema de suportar diferentes línguas (Português, Inglês, Espanhol, etc.) sem a necessidade de recodificação.
Janelas Corresponde aos tipos de Janelas apresentadas ao usuário e os elementos que as compõe.
Legibilidade Corresponde a legibilidade das informações apresentadas nas telas do sistema.
Mensagens Corresponde a qualidade das mensagens enviadas/apresentadas aos usuários. As mensagens devem ser claras e precisas
Navegabilidade/Orientação
Corresponde aos elementos que o sistema utiliza para informar ao usuário onde este se encontra dentro do sistema. Diz respeito igualmente às informações que
permitem ao usuário identificar o estado ou contexto no qual ele se encontra, bem como as ferramentas de ajuda e seu modo de acesso.
Número de Erros Corresponde ao número de erros apresentados para o usuário.
Objetivo Corresponde as metas claras e objetivas apresentadas no sistema para o usuário.
Operacionalidade Capacidade do sistema possibilitar ao usuário operá-lo. Trata de como como o sistema facilita a sua operação por parte do usuário.
Personalização Corresponde a identificação do usuário no sistema e satisfazer as necessidades individuais deste usuário.
174
Precisão Corresponde a capacidade do software de fornecer resultados precisos ou com a precisão dentro do que foi acordado/solicitado.
Presteza Corresponde a forma como o sistema informa e conduz o usuário durante a interação.
Prevenção/Proteção de Erros
Corresponde às oportunidades que o sistema oferece para o usuário prevenir eventuais erros. O sistema deve conter mecanismos para prevenir a ocorrência de
erros.
Previsibilidade
Interfaces multimodais devem ser previsíveis. A interface deve permitir que o usuário saiba intuitivamente qual a melhor modalidade para usar durante a execução
da tarefa. A interface deve permitir que o usuário possa ver se em um determinado momento a modalidade é de algum modo indisponível
Privacidade
Corresponde a maneira com que o sistema reserva informações que são próprias do usuário.capacidade do sistema de proteger as informações do usuário e fornecê-
las apenas (e sempre) às pessoas autorizadas.
Produtividade
Corresponde a produtividade do usuário em relação ao sistema (quanto mais rápido o usuário aprende a usar o sistema, mais rápido memoria as operações e comete
menos erros).
Promoção Se refere ao grau em que um site é bem promovido na internet ou através de outros meios de comunicação.
Recursos de Segurança Corresponde ao fato de um sistema limitar o risco de danos às pessoas ou outros recursos, tais como hardware ou informações armazenadas.
Reusabilidade Corresponde a capacidade de reutilização de módulos do sistema em outras aplicações.
Satisfação Corresponde a percepção do usuário com o uso do sistema. Este atributo é totalmente subjetivo, e está diretamente ligado à opinião do usuário.
Simetria/Equilibrio Corresponde a composição visual gerada pela disposição dos elementos na tela. A distribuição espacial dos itens traduz as relações entre as informações.
Simplicidade Corresponde ao tratamento de elementos estranhos na interface e a forma como são eliminados, sem perda significativa de informação.
Sincronismo
Corresponde ao fato de que as múltiplas modalidades de interação com sistema multimodal precisam ser sincronizadas. A interação de voz pode ser considerado
como temporário, enquanto a interação visual pode ser considerada espacial. Quando combinados em uma interface multimodal, estes modos de interação devem
ser sincronizados para evitar comprometer a usabilidade do sistema.
Solicitação Corresponde a maneira como o sistema processa as solicitações do usuário.
Som Corresponde aos itens relacionados a som que são apresentadas aos usuários em um sistema.
Suporte para o usuário
reconhecer, diagnosticar e
recuperar erros
Possibilidade de desfazer Entradas. Facilidades oferecidas para que o usuário com o objetivo de permitir a correção de seus erros. Os erros são bem menos
perturbadores quando são fáceis de corrigir.
Taxa de Conclusão/Plenitude Corresponde aos usuários que conseguem concluir determinada tarefa de forma positiva e ao quão completa é a interação entre o sistema e o usuário.
Tempo de Carga Corresponde a capacidade de um sistema consumir tempo de tarefa apropriado para executar determinada função.
Tolerância a falhas Corresponde a capacidade do sistema em manter um nível especificado de desempenho em casos de falhas ou de violação de sua interface.
Transição visível
A transição entre os diálogos em uma interação multimodal deve ser visível para o usuário, porque as suas capacidades e necessidades, bem como o contexto de uso
pode ser modificado durante a interação.
Utilidade Corresponde a capacidade de atendimento das necessidades do usuário.
Utilização de recursos Corresponde a relação entre recursos consumidos e a capacidade do sistema em utilizar os recursos disponíveis.
175
APÊNDICE D – CARACTERÍSTICAS E ATRIBUTOS
CARACTERÍSTICA ATRIBUTOAcessibilidade Ações Mínimas
Acessibilidade Auto-Descritivo
Acessibilidade Carga de Memória Mínima/Brevidade
Acessibilidade Consistência
Acessibilidade Controlabilidade/Ação explícita do usuário
Acessibilidade Flexibilidade
Acessibilidade Legibilidade
Acessibilidade Navegabilidade/Orientação
Acessibilidade Operacionalidade
Acessibilidade Simplicidade
Adequação Auto-Descritivo
Adequação Coordenação
Ajuda Informações Textuais
Atributos "avulsos" Acessibilidade
Atributos "avulsos" Capacidade de Aprendizado
Atributos "avulsos" Compreensibilidade
Atributos "avulsos" Comunicabilidade
Atributos "avulsos" Desempenho
Atributos "avulsos" Eficácia
Atributos "avulsos" Eficiência
Atributos "avulsos" Escalabilidade
Atributos "avulsos" Facilidade de Uso
Atributos "avulsos" Inteligibilidade
Atributos "avulsos" Internacionalização
Atributos "avulsos" Produtividade
Atributos "avulsos" Reusabilidade
Atributos "avulsos" Satisfação
Atributos "avulsos" Tempo de Carga
Atributos "avulsos" Utilidade
176
Capacidade de Aprendizado Ações Mínimas
Capacidade de Aprendizado Auto-Descritivo
Capacidade de Aprendizado Carga de Memória Mínima/Brevidade
Capacidade de Aprendizado Familiaridade/Padrões
Capacidade de Aprendizado Simplicidade
Carga de Trabalho (Memória) Densidade Informacional
Confiabilidade Auto-Descritivo
Confiabilidade Controlabilidade/Ação explícita do usuário
Confiabilidade Familiaridade/Padrões
Confiabilidade Navegabilidade/Orientação
Confiabilidade Operacionalidade
Confiabilidade Privacidade
Confiabilidade Tolerância a falhas
Consistência na interação Dispositivos
Controle Do usuário Controlabilidade/Ação explícita do usuário
Eficácia Consistência
Eficácia Feedback
Eficácia Flexibilidade
Eficácia Navegabilidade/Orientação
Eficácia Precisão
Eficácia Taxa de Conclusão/Plenitude
Eficiência Ações Mínimas
Eficiência Carga de Memória Mínima/Brevidade
Eficiência Feedback
Eficiência Navegabilidade/Orientação
Eficiência Operacionalidade
Eficiência Tempo de Carga
Eficiência Utilização de recursos
Facilidade de uso Estrutura
Facilidade de uso Feedback
Facilidade de uso Objetivo
177
Flexibilidade Comunidade
Flexibilidade Experiência do Usuário
Flexibilidade Personalização
Gestão de Erros Número de Erros
Gestão de Erros Prevenção/Proteção de Erros
Gestão de Erros Suporte para o usuário reconhecer, diagnosticar e recuperar erros
Inteligibilidade Aplicabilidade
Inteligibilidade Mensagens
Inteligibilidade Simetria/Equilibrio
Mapeamento entre sistema e mundo real Informações Textuais
Multimodal Adptação ao Meio
Multimodal Ajuda
Multimodal Design Entrada e Saída
Multimodal Estado de interação compartilhada
Multimodal Feedback
Multimodal Prevenção/Proteção de Erros
Multimodal Previsibilidade
Multimodal Sincronismo
Multimodal Transição visível
Navegabilidade/Orientação Agrupamento e distinção de Itens
Navegabilidade/Orientação Feedback
Navegabilidade/Orientação Legibilidade
Navegabilidade/Orientação Solicitação
Operacionalidade Flexibilidade
Produtividade Tempo de Carga
Produtividade Utilização de recursos
Recursos visuais Animações e Transições
Recursos visuais Atratividade/Agradabilidade
Recursos visuais Comandos
Recursos visuais Compatibilidade
Recursos visuais Componentes
178
Recursos visuais Conteúdo de qualidade
Recursos visuais Contraste
Recursos visuais Coordenação
Recursos visuais Cores
Recursos visuais Densidade Informacional
Recursos visuais Design estético
Recursos visuais Elementos gráficos
Recursos visuais Emoção
Recursos visuais Experiência do Usuário
Recursos visuais Familiaridade/Padrões
Recursos visuais Fonte
Recursos visuais Funcionalidade
Recursos visuais Ícones
Recursos visuais Importância do Código
Recursos visuais Informações Textuais
Recursos visuais Interface/Layout
Recursos visuais Janelas
Recursos visuais Mensagens
Recursos visuais Personalização
Recursos visuais Promoção
Recursos visuais Simetria/Equilibrio
Recursos visuais Som
Satisfação Ações Mínimas
Satisfação Atratividade/Agradabilidade
Satisfação Carga de Memória Mínima/Brevidade
Satisfação Flexibilidade
Satisfação Operacionalidade
Segurança Consistência
Segurança Garantia
Segurança Precisão
Segurança Recursos de Segurança
Segurança Taxa de Conclusão/Plenitude
Segurança Tolerância a falhas
179
Universalidade Atratividade/Agradabilidade
Universalidade Auto-Descritivo
Universalidade Carga de Memória Mínima/Brevidade
Universalidade Consistência
Universalidade Controlabilidade/Ação explícita do usuário
Universalidade Feedback
Universalidade Flexibilidade
Universalidade Legibilidade
Universalidade Navegabilidade/Orientação
Universalidade Privacidade
Universalidade Simplicidade
Universalidade Tempo de Carga
Utilidade Carga de Memória Mínima/Brevidade
Utilidade Controlabilidade/Ação explícita do usuário
Utilidade Feedback
Utilidade Flexibilidade
Utilidade Garantia
Utilidade Operacionalidade
Utilidade Precisão
Utilidade Privacidade
Utilidade Recursos de Segurança
Utilidade Tempo de Carga
Utilidade Tolerância a falhas
Utilidade Utilização de recursos
180
APÊNDICE E – AMBIENTE, CARACTERISTICA, ATRIBUTO E QUESTÃO
AMBIENTE CARACTERÍSTICA ATRIBUTO QUESTÃODesktop Acessibilidade Ações Mínimas A estrutura dos menus é concebida de modo a diminuir os passos necessários para a seleção?
Desktop Acessibilidade Ações Mínimas Em formulário de entrada de dados o sistema posiciona o cursor no começo do primeiro campo de entrada?
Desktop Acessibilidade Ações Mínimas
Na realização das ações principais em uma caixa de diálogo, o usuário tem os movimentos de cursor minimizados através da
adequada ordenação dos objetos?
Desktop Acessibilidade Ações Mínimas
O usuário dispõe de um modo simples e rápido (tecla TAB por exemplo) para a navegação entre os campos de um
formulário?
Desktop Acessibilidade Ações Mínimas Os grupos de botões de comando possuem sempre um botão definido como default?
Desktop Acessibilidade Carga de Memória Mínima/Brevidade Alguma tarefa do sistema exige um nível de expertise muito alto?
Desktop Acessibilidade Consistência A identificação das caixas, telas ou janelas são únicas?
Desktop Acessibilidade Consistência A localização dos dados é mantida consistente de uma tela para outra?
Desktop Acessibilidade Consistência A organização em termos da localização das várias características das janelas é mantida consistente de uma tela para outra?
Desktop Acessibilidade Consistência A posição inicial do cursor é mantida consistente ao longo de todas as apresentações de formulários?
Desktop Acessibilidade Consistência As áreas de entrada de comandos estão na mesma posição de uma tela para outra?
Desktop Acessibilidade Consistência O símbolo para convite à entrada de dados é padronizado (por exemplo " : " )?
Desktop Acessibilidade Consistência Os formatos de apresentação dos dados são mantidos consistentes de uma tela para outra?
Desktop Acessibilidade Consistência Os ícones são distintos uns dos outros e possuem sempre o mesmo significado de uma tela para outra?
Desktop Acessibilidade Consistência Os rótulos estão na mesma posição em relação aos campos associados?
Desktop Acessibilidade Consistência Os significados dos códigos de cores são seguidos de maneira consistente?
Desktop Acessibilidade Consistência Uma mesma tecla de função aciona a mesma opção de uma tela para outra?
Desktop Acessibilidade Controlabilidade/Ação explícita do usuário
Durante os períodos de bloqueio dos dispositivos de entrada, o sistema fornece ao usuário uma opção para interromper o
processo que causou o bloqueio?
Desktop Acessibilidade Controlabilidade/Ação explícita do usuário O usuário pode interromper e retomar um diálogo seqüencial a qualquer instante?
Desktop Acessibilidade Controlabilidade/Ação explícita do usuário O usuário pode reiniciar um diálogo seqüencial a qualquer instante?
Desktop Acessibilidade Controlabilidade/Ação explícita do usuário O usuário pode terminar um diálogo seqüencial repetitivo a qualquer instante?
Desktop Acessibilidade Flexibilidade Ao usuário é permitido personalizar o diálogo, através da definição de macros?
Desktop Acessibilidade Flexibilidade É permitido ao usuário alterar e personalizar valores definidos por default?
Desktop Acessibilidade Flexibilidade Os usuários têm a possibilidade de modificar ou eliminar itens irrelevantes das janelas?
Desktop Acessibilidade Legibilidade A altura mínima dos mostradores de texto é de 4 linhas?
Desktop Acessibilidade Legibilidade A informação codificada com o vídeo reverso é legível?
Desktop Acessibilidade Legibilidade A largura mínima dos mostradores de texto é de 50 caracteres?
Desktop Acessibilidade Legibilidade As áreas livres são usadas para separar grupos lógicos em vez de tê-los todos de um só lado da tela, caixa ou janela?
181
APÊNDICE F – QUESTÃO E RECOMENDAÇÃO
QUESTÃO RECOMENDAÇÃO
A altura mínima dos mostradores de texto é de 4 linhas?
Mínimo de 4 linhas para mostrar textos.
A apresentação de textos em campos rolantes deve prever, ao menos, quatro linhas por vez.
COMENTÁRIO: Quatro linhas de texto constituem o mínimo que deve ser apresentado,
quando o conteúdo é simples. No caso de o conteúdo tornar-se mais complicado, ou se o
leitor tiver que voltar atrás em sua leitura freqüentemente, devem ser apresentadas mais
linhas .
A densidade informacional das janelas é reduzida?
Densidade global reduzida.
A densidade de apresentação de uma tela, de uma caixa de diálogo e de uma janela não
devem ultrapassar 40%.
COMENTÁRIO: Não mais do que 10% da apresentação deve ser destacado de uma só vez.
COMENTÁRIO: O tempo de busca de dados aumenta com a densidade da tela;
COMENTÁRIO: Lembre-se de que a tradução de um sistema do inglês para o português
certamente ocupará mais espaço em tela.
A estrutura do sistema comunica claramente atividades principais para o
usuário?
Organize a tela através da criação de áreas claramente distinguíveis. Informações podem ser
apresentadas em grupos visuais, com base em temas ou funcionalidades similares do ponto
de vista do usuário.
A estrutura do sistema comunica claramente atividades principais para o
usuário?
Um estrutura clara e visível permitirá ao usuário navegar com facilidade, aumentando o
apelo de seu sistema. Ícones, rótulos, metáforas e outras informações pode não ser
evidente para todos os usuário.
182
APÊNDICE G – QUESTIONÁRIO DE AVALIAÇÃO DO
FRAMEWORK PROPOSTO
Caro Inspetor,
Esta pesquisa faz parte de um projeto de mestrado e pretende avaliar as contribuições na adoção de
um framework para apoio a elaboração de listas de verificação para inspeção da usabilidade.
São 17 questionamentos, que devem tomar cerca de 5 a 10 minutos do seu tempo.
Gostaríamos de contar com a sua colaboração.
Fabiane Barreto Vavassori Benitti
Franciela Nissola
UNIVALI - Universidade do Vale do Itajaí
Mestrado em Computação Aplicada
Prezado pesquisador, favor preencher as seguintes informações a respeito de seu perfil:
Nome: ___________.
E-mail: ___________.
Empresa ou Instituição de Ensino: ___________.
Conhecimentos em usabilidade:
Leu a respeito
Participou de processos de avaliação
Coordenou processos de avaliação
Outro: ___________.
Em relação de ao framework para apoio a elaboração de listas de verificação para inspeção da
usabilidade, relacione a escala abaixo com as questões a seguir.
1. Concordo amplamente
2. Concordo parcialmente
3. Discordo parcialmente
4. Discordo amplamente
5. Sem opinião Definida
183
1. Facilidade
O framework proposto contribui como guia, na seleção de atributos para inspeção da usabilidade?
Resposta: ___________.
2. Facilidade
A estrutura de informação apresentada pelo framework proposto contribui na redução do esforço de
assimilação de aspectos relacionados com a inspeção da usabilidade?
Resposta: ___________.
3. Facilidade
As questões utilizadas no framework para a inspeção dos atributos de usabilidade contribuem na
redução do esforço relacionado a compreensão de termos próprios da usabilidade?
Resposta: ___________.
4. Facilidade
A linguagem utilizada pelo framework proposto contribui na redução do esforço relacionado à
compreensão de termos próprios da usabilidade?
Resposta: ___________.
5. Facilidade
A estrutura de informação apresentada pelo framework proposto gera maior facilidade na realização
de inspeções de usabilidade, do que a avaliação feita a partir de documentação ou norma?
Resposta: ___________.
6. Facilidade
O framework proposto contribui na redução de esforço para conclusão de tarefas relacionadas com
a inspeção da usabilidade de forma eficiente?
Resposta: ___________.
7. Facilidade
O framework proposto é fácil de ser utilizado?
Resposta: ___________.
8. Motivação
A estrutura de informação apresentada pelo framework proposto contribui para a redução do
esforço na seleção de atributos de usabilidade?
Resposta: ___________.
9. Motivação
O framework pode ser utilizado nas próximas avaliações inspeções de usabilidade durante projetos
de desenvolvimento de software?
Resposta: ___________.
10. Motivação
O framework proposto pode ser indicado para avaliação da usabilidade para outros interessados?
Resposta: ___________.
184
11. Motivação
O framework proposto contribui como ferramenta útil para a inspeção da usabilidade durante
projetos de desenvolvimento de software?
Resposta: ___________.
12. Motivação
Qual a sua impressão subjetiva sobre o percentual de ganho de tempo que atividade de inspeção da
usabilidade obteve com o emprego do framework quando comparado com a não utilização?
Resposta: ___________.
13. Adequação
Os mecanismos de seleção de componentes, abordados pelo framework proposto contribuem para a
redução da complexidade na inspeção da usabilidade entre os envolvidos com projetos de
desenvolvimento de software?
Resposta: ___________.
14. Adequação
A estrutura de informações abordada pelo framework se mostrou adequada para ser aplicada em
inspeções de usabilidade durante projetos de desenvolvimento de software?
Resposta: ___________.
15. Adequação
As sugestões de questões apresentadas no framework contribuem como prática adequada em
inspeções de usabilidade?
Resposta: ___________.
16. Adequação
O framework proposto pode ser utilizado como ferramenta de trabalho para inspeção da usabilidade
durante outros projetos de desenvolvimento de software?
Resposta: ___________.
17. Adequação
Qual o grau de concordância subjetiva do framework proposto em relação à inspeção da usabilidade
durante projetos de desenvolvimento de software?
Resposta: ___________.
Top Related