A N Á L I S E D E C O M E N T Á R I O S D E L O JA S D E A P L I C A … · 2020. 1. 31. ·...
Transcript of A N Á L I S E D E C O M E N T Á R I O S D E L O JA S D E A P L I C A … · 2020. 1. 31. ·...
UNIVERSIDADE FEDERAL DO CEARÁ
CAMPUS DE QUIXADÁ
CURSO DE ENGENHARIA DE SOFTWARE
MATHEUS GOMES RIOS RIBEIRO
ANÁLISE DE COMENTÁRIOS DE LOJAS DE APLICATIVOS ATRAVÉS DAS HEURÍSTICAS DE USABILIDADE
QUIXADÁ
2019
MATHEUS GOMES RIOS RIBEIRO
ANÁLISE DE COMENTÁRIOS DE LOJAS DE APLICATIVOS ATRAVÉS DAS HEURÍSTICAS DE USABILIDADE
Trabalho Conclusão de Curso apresentado ao Curso de Graduação em Engenharia de Software, do Campus Quixadá, da Universidade Federal do Ceará, como requisito parcial à obtenção do grau de bacharel em Engenharia de Software. Orientadora: Profª. Dra. Rainara Maia Carvalho
Quixadá
2019
Dados Internacionais de Catalogação na Publicação Universidade Federal do Ceará
Biblioteca UniversitáriaGerada automaticamente pelo módulo Catalog, mediante os dados fornecidos pelo(a) autor(a)
R37a Ribeiro, Matheus Gomes Rios. Análise de comentários de lojas de aplicativos através das heurísticas de usabilidade / MatheusGomes Rios Ribeiro. – 2019. 50 f. : il. color.
Trabalho de Conclusão de Curso (graduação) – Universidade Federal do Ceará, Campus de Quixadá,Curso de Engenharia de Software, Quixadá, 2019.
1. Usabilidade. 2. Heurísticas . 3. Avaliação de aplicativo. I. Título. CDD 005.1
Orientação: Profa. Dra. Rainara Maia Carvalho.
MATHEUS GOMES RIOS RIBEIRO
ANÁLISE DE COMENTÁRIOS DE LOJAS DE APLICATIVOS ATRAVÉS DAS HEURÍSTICAS DE USABILIDADE
Trabalho Conclusão de Curso apresentado ao Curso de Graduação em Engenharia de Software, do campus Quixadá, da Universidade Federal do Ceará, como requisito parcial à obtenção do grau de bacharel em Engenharia de Software.
Aprovada em: ___/___/______.
BANCA EXAMINADORA
________________________________________ Profa. Dra. Rainara Maia Carvalho (Orientadora)
Universidade Federal do Ceará (UFC)
_________________________________________ Profa. Dra. Andréia Libório Sampaio Universidade Federal do Ceará (UFC)
_________________________________________ Profa. Dra. Ingrid Teixeira Monteiro
Universidade Federal do Ceará (UFC)
Aos meus pais que sempre acreditaram em mim, e me passam a segurança de que sempre acreditarão. Você pai, é meu arauto dos sonhos, o que lembra que as coisas devem ser almejadas e perseguidas, e você mãe, é minha maior inspiração, a mulher mais forte que eu conheço.Vocês são uma sinfonia doce na balbúrdia sonora que é este mundo.
AGRADECIMENTOS
Às finas linhas do destino, que me trouxeram a este mundo, que me aproximam e
distanciam de pessoas, que me presenteiam todo dia com uma possibilidade diferente, que me
permite sentir do melhor ao pior sentimento humano.
Aos meus pais, Francisca e Marconi Rios, que são os mastros principais deste
navio, permitindo-o que navegue em águas mais distantes e profundas. Que também são
bússolas, me apontando o norte, sempre o caminho de voltar para casa.
As minhas irmãs, Nádia e Clara Maria, que sempre estiveram comigo, tentando
desvendar os segredos de se viver. Assim como meus primos Péricles, Naiara Rios e outros.
Aos meus avós, Isabel, Nair e Gregório, que me enchem de amor incondicional,
me ajudaram e ajudam em cada etapa da minha vida, sempre presentes.
À memória da minha madrinha Joana, que foi minha avó por escolha, vou
carregar suas lembrança, no coração, até o fim dessa vida.
Aos meus amigos que fiz em Quixadá, Marcelo, Veyber, Arthur, Gelderson,
Gustavo e todos os outros que me fizeram gostar mais ainda deste estado. Também a Luanna,
Jéssica, Karol, João e outros amigos que fiz na minha cidade natal e ainda carrego no peito.
Por fim, à minha orientadora Rainara Maia por todo auxílio e paciência para
aguentar todo meu ímpeto argumentativo.
“Qualquer um que não tenha cometido um erro
nunca tentou algo novo” - Albert Einstein
RESUMO
Atualmente a maioria dos aplicativos móveis são obtidos através de lojas virtuais, tal como a
Play Store do Google. Nessas lojas, existe um espaço destinado a comentários, nos quais os
usuários reportam sua opinião sobre o uso. Essas opiniões normalmente estão relacionadas
com a Usabilidade, requisito essencial para o sucesso de sistemas interativos. Uma das formas
utilizadas para avaliar a Usabilidade é a utilização de heurísticas, a qual é realizada com
especialistas. No entanto, acreditamos que os comentários das lojas online tem um grande
potencial para apoiar esse tipo de avaliação. Portanto, esse trabalho tem como objetivo
investigar a presença de heurísticas de Usabilidade nos comentários dos usuários. Os
resultados apresentam condições possibilitadoras para o uso satisfatório de heurísticas em
comentários.
Palavras-chave: Usabilidade. Avaliação Heurística. Comentários Online. Lojas de
Aplicativos.
ABSTRACT
Most mobile applications are currently obtained through online stores, such as Google Play
Store. In these stores, there is a space for comments, in which users report their opinion on the
use. This feedback is usually related to Usability, an essential quality characteristic for the
success of interactive systems. One of the strategies used to evaluate Usability is through
heuristic evaluation, performed by experts. However, we believe that online store reviews
have a ́great potential to support this kind of evaluation. So, this work aims to investigate the
presence of heuristics in the comments of the users. The results present enabling conditions
for applying this idea in heuristic evaluation.
Keywords: Usability. Heuristic Evaluation. Online Reviews.
LISTA DE FIGURAS
Figura 1 - Visão geral da metodologia ..................................................................... 24
LISTA DE GRÁFICOS
Gráfico 1 - Comparação de concordância entre os especialista ………………. 30
Gráfico 2 - Números de classificações das heurísticas por aplicativo ……….... 39
Gráfico 3 - Classificações Netflix ………………………………………………... 40
Gráfico 4 - Classificações Evernote ………………………………………….... 41
Gráfico 5 - Classificações Facebook …………………………………………….. 41
Gráfico 6 - Classificações Whatsapp ……………………...................................... 42
Gráfico 7 - Classificações Pou ………………………………………………….... 42
Gráfico 8 - Referências presentes nos comentários de todos os aplicativos ……... 43
Gráfico 9 - Quantidade de referências por comentários …………………………. 43
LISTA DE TABELAS
Tabela 1 - Comparação dos trabalhos relacionados com este trabalho ……....... 21
Tabela 2
Tabela 3
Tabela 4
- Aplicativos escolhidos e suas categorias correspondentes ………….
- Hora e data da captura dos comentários ………………………….....
- Perfil dos especialistas ………………………………………………
25
26
27
Tabela 5 - Discordâncias mútuas entre os especialistas ……………………….. 30
Tabela 6 - Exemplos de comentários sem conteúdo ………………………….... 44
LISTA DE ABREVIATURAS E SIGLAS
IHC Interação Humano-Computador
SUMÁRIO
1 INTRODUÇÃO ................................................................................................. 14
1.1 Objetivo Geral …….................................................................................. 15
1.2 Objetivo Específico .................................................................................. 15
2 TRABALHOS RELACIONADOS.................................................................. 16
2.1 Users − The Hidden Software Product Quality Experts? …………………. 16
2.2 A Survey of App Store Analysis for Software Engineering ……………….. 17
2.3 Automatic Classification of Non-Functional Requirements ……………… 18
2.4 Comparação dos trabalhos …………………………………………………. 18
3 FUNDAMENTAÇÃO TEÓRICA …………………………………………. 19
3.1 Definição de Usabilidade ……………………………………………………. 20
3.2 Avaliação de Interfaces …………………………………………………….... 20
3.3 Heurísticas de Nielsen ………………………………………………………. 21
4 METODOLOGIA ……………………………………………………………. 23
4.1 Etapa I:Seleção dos Aplicativos ……………………………………………... 24
4.2 Etapa II: Escolha dos Comentários …………………………………………. 26
4.3 Etapa III: Análise dos Comentários ………………………………………… 26
4.4 Etapa IV: Compilação e Relato dos Resultados ………………………….. 27
4.5 Etapa V: Avaliação dos Especialistas ……………………………………….. 28
5 RESULTADOS ………………………………………………………………. 29
5.1 Resultado da Avaliação dos Especialistas …………………………………... 29
5.2 Resultados finais …………………………………………………………….... 38
6 DISCUSSÃO ………………………………………………………………….. 44
7 CONCLUSÃO ................................................................................................... 46
REFERÊNCIAS ................................................................................................ 48
APÊNDICE A - TABELA UTILIZADA PELO PESQUISADOR ………... 49
APÊNDICE B – INSTRUMENTO DE COLETA DE DADOS …………… 49
14
1 INTRODUÇÃO
Atualmente, a grande maioria dos aplicativos usados nos smartphones são obtidos, de
maneira paga ou não, através de aplicativos de lojas, como a Google Play da Google, ou a 1
App Store , da Apple. Essas lojas possuem algumas características comuns, como divisão de 2
aplicativos por tipos, classificação dos produtos através de uma nota ou um espaço destinado
a comentários, nos quais os usuários reportam sua opinião sobre o uso.
Criados para servir como um indicativo da qualidade daquele aplicativo, pesquisas
mostram números interessantes sobre esses feedbacks , por exemplo, aplicativos populares
como o Facebook, recebem em torno de 427 comentários por dia, Pagano, Maalej (2013).
Esse feedback é extremamente importante para que os desenvolvedores melhorem a qualidade
de uso dos aplicativos.
O principal atributo de qualidade com críticas nesses feedbacks é a Usabilidade, Groen
et al. (2017). Essa pode ser definida como o esforço necessário para uso de um sistema
interativo, também alusivo com a avaliação individual de tal uso, segundo a ISO 9126
(International Organization for Standardization, 2003, p. 68–76).
A Usabilidade diz respeito principalmente à capacidade cognitiva, perceptiva e motora
que os usuários empregam durante a interação, Barbosa e Silva (2010). Existem várias formas
de se avaliar a usabilidade de sistemas, uma delas é através da Avaliação Heurística
(NIELSEN; MOLICH, 1990).
Esse método acontece quando um avaliador utiliza um conjunto de heurísticas de
usabilidade como pontos de verificação. Heurísticas de Usabilidade são características
desejáveis da interação e da interface, quando há uma violação a uma heurística, essa é
registrada, Barbosa e Silva (2010) e Nielsen (1994). Nielsen (1994) define um conjunto de
dez heurísticas capazes de avaliar qualquer software.
Essa avaliação é feita através da inspeção manual da interface pelos avaliadores,
especialistas em Usabilidade. No entanto, acreditamos que os comentários das lojas online
tem um grande potencial para apoiar esse tipo de avaliação. Usando o filtro adequado, é
possível extrair vários tipos de dado desse montante.
1 https://play.google.com/store/apps?hl=pt_BR
2 https://www.apple.com/br/ios/app-store/
15
Alguns trabalhos já se propuseram a analisar comentários para obter dados que
possam apontar para problemas de atributos de qualidade, tais como Confiabilidade,
Segurança, Groen et al. (2017) e Martin et al. (2017). Seguindo esse raciocínio, é interessante
entender com que extensão os comentários podem indicar violações de heurísticas de
usabilidade.
O restante deste documento está organizado da seguinte forma: no Capítulo 2 são
apresentados os objetivos do trabalho. No Capítulo 3, é apresentada uma análise de alguns
trabalhos que já fizeram uso de comentários em lojas de aplicativos, a fim de se ter uma base
para entender esta pesquisa. No Capítulo 4 é exposta a metodologia que foi utilizada para
alcançar os objetivos definidos. No Capítulo 5, os resultados obtidos são apresentados. Por
fim, nos Capítulos 6 e 7 são expostas a discussão e conclusão, respectivamente.
1.2 Objetivo Geral
Este trabalho tem como objetivo geral explorar a identificação de evidências das
heurísticas de Usabilidade, Nielsen (1994), nos comentários de lojas de aplicativos, a fim de
propiciar uma nova perspectiva para futuros trabalhos e ferramentas que poderão melhorar o
processo de identificação de problemas com interfaces através de comentários dos usuários.
1.3 Objetivos Específicos
Para chegar-se ao objetivo citado anteriormente de maneira satisfatória, dois objetivos
específicos foram definidos, são eles:
● Classificar um conjunto de comentários de acordo com as heurísticas de
usabilidade de Nielsen; e
● Analisar a frequência e configuração dos comentários com referências à
heurísticas de Nielsen
16
2 TRABALHOS RELACIONADOS
Os trabalhos relacionados a seguir tratam da obtenção de dados relevantes através do
uso de comentários em lojas de aplicativos. Eles divergem em alguns pontos específicos, mas
realçam o poder que essa técnica pode oferecer ao atual sistema de desenvolvimento de
software.
2.1 Users − The Hidden Software Product Quality Experts?
Estudo que tem por objetivo entender como o feedback pela loja de aplicativos de
usuários podem ser úteis Groen et al. (2017) para avaliar características de qualidade. Para
isso, os autores optaram por realizar seis passos, o primeiro deles foi selecionar os aplicativos,
cujos comentários deveriam ser analisados, considerando se ele era pago ou não, e o tema que
sua funcionalidade trata.
Em seguida eles definiram como escolher os comentários que seriam analisados. No
terceiro passo, eles definiram “tags” para ligar o escopo do feedback com elementos de
qualidade, e utilizaram o modelo de qualidade proposto na ISO 25010. Após isso, foi a vez de
fazer as análises e ligar a tag mais adequada a crítica.
O quinto passo consistia em exportar o que foi obtido em uma planilha, e verificar se
pelo menos duas das cinco pessoas, que realizaram o passo 4, apontaram a mesma tag em um
comentário analisado, para que dessa forma os dados a trabalhar fossem mais concisos e
menos passivos a erros de interpretação. Por fim, ocorreu a comparação do conteúdo
validado, levando em consideração suas características.
O exposto em alguns trechos desse trabalho teve grande influência na forma que foi
organizado este trabalho de TCC. Por exemplo, na escolha de usabilidade como atributo de
qualidade de medição, a partir de trechos como este:
“Linguistic structure of statements: In this study, we assessed the
statements tagged as “usability” and found that about half the
statements could be matched through language patterns (RQ2). For
example, many users describe their experience with the app’s
17
operability trough variations of word combinations including “(not)
easy to . . . ”, “. . .(not) very intuitive / user-friendly”, and “would like
to be able to . . . ”. However, the patterns shall be carefully
constructed. The first two given examples show a clear valence (either
positive or negative), while the third shows a request for quality. This
means that statements with a negative valence should require the
combination of a negation and a positive word (e.g., “not easy”), or
the use of a negative word (e.g., “hard”), while the same pattern could
forbid those words to find statements with 17 a positive valence.
Making a distinction in valence is important when using the statements
to elicit requirements because finding either many positive or many
negative statements about “usability” have different implications for
defining requirements” (GROEN et al., 2017, p. 7).
Os resultados obtidos foram de grande utilidade para profissionais da área de
engenharia de requisitos, uma vez que mostram comportamentos interessantes dos usuários
quanto às críticas, principalmente envolvendo a usabilidades do sistemas.
Este trabalho foi de grande importância como motivação, por definir alguns pontos
interessantes e relevantes quanto aos comentários nas lojas de aplicativos e os atributos de
qualidade. Sob o ponto de vista do autor deste trabalho, o artigo em questão abre precedentes
para outros trabalhos na área.
2.2 A Survey of App Store Analysis for Software Engineering
É um survey feito sobre os trabalhos envolvendo App Store e Engenharia de Software
do ano 2000 até novembro de 2015, Martin et al. (2017). São declarados quatro objetivos para
o trabalho: a) elaboração de definições formais para atributos técnicos e não-técnicos, de uso
para pesquisa analítica na App Store. b) Estudo sobre o crescimento dos trabalhos que fazem
análise da App Store. c) Elaboração da análise da escala de aplicativos usados, e o debate
sobre a progressão no futuro. d) Identificação da ideias chaves publicadas nesses trabalhos da
App Store.
18
Um dos pontos mais interessantes do trabalho é que os autores expõe diretrizes para
dados de extração, visando auxiliar futuros trabalhos que podem fazer uso de uma grande
quantidade de informações. Instruções de como a captura de dados podem ser mais
pertinentes para o projeto.
Por fim, os autores concluem que houve um aumento realmente significativo no
números de estudos empíricos que envolvem aplicativos de loja, de 2014 para 2015 o número
praticamente triplicou. Tal fenômeno expõe o reconhecimento dos comentários em aplicativos
de loja, como uma ferramenta de alto potencial para o fornecimento de dados.
2.3 Automatic Classification of Non-Functional Requirements from Augmented App User
Reviews
A fim de extrair informações valiosas sobre requisitos não-funcionais, de comentários
em lojas de aplicativos, esse trabalho, Lu e Liang (2017) tem como objetivo apresentar os 18
melhores métodos e ferramentas para automatizar tal processo de análise. O principal ponto
abordado no texto é responder qual dessas técnicas é mais eficaz. Os autores escolheram usar
quatro classificações para o que os comentários se tratavam, foram usabilidade, desempenho,
portabilidade e confiabilidade para comparar os quatro modelos de classificação, fazendo uso
dos comentários de dois aplicativos da App Store. Eles fizeram uso de algoritmos de
aprendizagem de máquina com uma fórmula matemática para testar a eficiência dos modelos
e ferramenta. No final é apresentado algumas tabelas contendo o número médio de críticas
relatadas divididas nas quatro categorias citadas e em requisitos funcionais.
2.4 Comparação dos Trabalhos
A Tabela 1 apresenta uma comparação entre os trabalhos relacionados e a proposta
deste trabalho. A principal diferença está no uso das heurísticas de usabilidade na análise dos
comentários.
19
Tabela 1- Comparação dos trabalhos relacionados com este trabalho
Critérios GROEN et al.,
2017
MARTIN et
al., 2017
LU; LIANG,
2017
Este Trabalho
1. Estudo sobre comentários em lojas de aplicativos
SIM
SIM
NÃO
SIM
2. Análise de atributos de qualidade
SIM
SIM
SIM
SIM
3. Análise de heurísticas nos comentários de lojas de aplicativos
NÃO
NÃO
NÃO
SIM
Fonte: Elaborado pelo autor
Apesar de tratarem pontos semelhantes, os trabalhos se diferem em pontos essenciais
na forma que abordam os comentários em lojas de aplicativos e seus objetivos. Por exemplo,
o primeiro Groen et al (2017) tem como principal foco estudar os atributos de qualidade
presentes nos feedback´s , mas não debate ferramentas úteis para análise e nem formas de
automatização destas.
Já o segundo trabalho, Martin et al (2017), procura apenas entender o cenário dessas
pesquisas, que envolvem comentários em lojas de aplicativo. Por fim, o terceiro Lu e Liang
(2017), da ênfase justamente em estudar formas de automatização, embora não trate
comentários em lojas de aplicativos.
20
3 FUNDAMENTAÇÃO TEÓRICA
Esse capítulo apresenta os conceitos fundamentais para entendimento e realização
deste trabalho: Definições de Usabilidade, Avaliação de Interfaces e Heurísticas de Nielsen.
3.1 Definição de Usabilidade Talvez um dos conceitos mais complexos na computação moderna. A usabilidade é o
termo usado para ligar a experiência de algum indivíduo com qualquer ferramenta ou objeto.
Sua eficácia se dá quando o usuário interage com o sistema e alcança seus objetivos
corretamente, conforme o esperado Barbosa e Silva (2010). Esse conceito também está
intrinsecamente ligado ao nível de satisfação do usuário com a experiência de usar o sistema.
Esse atributo de qualidade também se refere como o uso do sistema interativo no
trabalho é afetado pelas próprias características do usuário Barbosa e Silva (2010), portanto, é
de grande importância para o design levar isso em consideração na hora de elaboração da
interface.
E existem vários fatores que podem excluir pessoas de fazerem uso de algum sistema,
Benyon et al. (2005), alguns deles são: falta de entendimento por instruções complexas;
exclusões sociais por suposições mal feita dos criadores da interface; físicas por limitações do
usuário quanto a posições dos disponíveis de entradas.
Um exemplo desse fenômeno é que quando se é pedido a um usuário que visite um
site específico, em média, somente 66% das pessoas tem sucesso nesta tarefa. Segundo testes
realizados por Nielsen (NIELSEN; LORANGER, 2007).
Com certeza, um dos passos mais importantes para alcançar qualidade de usabilidade
em um sistema, durante o processo de desenvolvimento é a realização de avaliações de
interface, ela é uma atividade vital para se produzir um sistema interativo de alta qualidade de
uso, pois leva a identificação de problemas que poderiam prejudicar a experiência de uso do
usuário (BARBOSA; SILVA, 2010).
21
3.2 Avaliação de Interfaces
Existe vários métodos de avaliações de interfaces, a maioria deles podem ser descritas
como processos de observações e acompanhamento de usuários, Oliveira Netto (2010).
Benyon et al. (2005) classifica dois tipos de avaliação, baseadas em especialistas e em
participantes. Já Barbosa e Silva (2010) divide os métodos em inspeção, observação e
investigação.
Métodos baseados em investigação tem maior enfoque em descobrir problemas
específicos da interface. Porém, os resultados desses métodos podem ser subjetivos, por
conseguinte sua análise deve ser feita de forma cuidadosa. Entrevistas, questionários e grupo
de foco são exemplos desse tipo de método.
Os métodos baseados em observação se aproximam mais do contexto real de uso dos
sistemas, pois as técnicas presentes nessa classificação instruem os avaliadores a observar e
fazer anotações com base nos problemas que os participantes encontram, durante as
atividades. Outro ponto forte dessas avaliações é permitir o estudo de interações com grupos
de usuários específicos. Alguns exemplos delas são: Teste de usabilidade, método de
avaliação de comunicabilidade e prototipação em papel (BARBOSA; SILVA, 2010).
Já os métodos baseados em inspeção não envolvem usuários no processo, eles são
realizados por avaliadores com experiência, onde estes são instruídos a inspecionar
sistematicamente a interface a fim de encontrar problemas que prejudiquem a usabilidade. É
recomendado que os inspecionadores não estejam envolvidos no processo de
desenvolvimento da interface, a fim de que eles possam assumir uma posição neutra
(BARBOSA; SILVA, 2010).
Esses métodos surgiram como uma opção de baixo custo e a rapidez com que podem
ser implementados. Alguns exemplos de métodos de avaliação de interfaces por inspeção são:
Percursos cognitivos, inspeção semiótica e avaliação heurísticas (BARBOSA; SILVA, 2010).
3.3 Heurísticas de Nielsen
22
As heurísticas elaboradas por Nielsen (1994) tem como base um conjunto de diretrizes
que descrevem características ideais de interações e interfaces, Barbosa e Silva (2010). E há
uma série de fatores que motivam a escolha desse método, como a comprovada eficácia do
uso de heurísticas como forma de avaliação, Nilsen e Molich (1990), pelo fácil entendimento
e agilidade de aplicação.
Deve ser executada por pelo menos dois especialistas, onde eles irão inspecionar de
forma sistemática a interface em busca de problemas Barbosa e Silva (2010). Se o sistema em
questão exigir um conhecimento de um campo específico os avaliadores devem ser
preparados para tal, Nilsen (1994). As heurísticas propostas por Nielsen são:
1. Visibilidade do status do sistema ; Os usuários devem ser sempre avisados
sobre o que está acontecendo no sistema. Um exemplo de violação à essa
heurística é uma interface que reproduza um vídeo, mas não mostre o tempo de
duração nem quanto falta para seu fim.
2. Compatibilidade do sistema com o mundo real; O sistema deve ser capaz de
ser compatível com o mundo que o usuários se encontra, através de expressões
e conceitos que são familiares ao usuário, além de fazer com que as
informações apareçam de forma natural e lógica. Um exemplo de violação à
essa heurística é um sistema de edição de foto que use um símbolo grego para
representar a função de cortar e colar.
3. Controle do usuário e liberdade; O usuário deve sempre ter a liberdade de sair
de funções já iniciadas. Um exemplo de violação à essa heurística é uma rede
social que não permita apagar post´s ou editá-los.
4. Consistência e padrões ; O sistema deve ser coeso quanto a sua simbologia, seu
hardware e software, de forma que o usuário não tenha dúvida sobre a
funcionalidade de botões ou ações. Um exemplo de violação à essa heurística é
um sistema que use um símbolo para representar uma ação, mas em outra tela
use um símbolo diferente para a mesma ação.
5. Prevenção de erros; O sistema deve sempre estar preparado ao acontecimento
de erros, preveni-lo é melhor que avisá-lo quando o erro aconteceu. Um
exemplo de violação à essa heurística é um sistema que não peça confirmação
para excluir algo importante naquele contexto.
23
6. Reconhecimento em vez de relembrança ; O usuário deve ser capaz de
visualizar a melhor maneira de usar o sistema, ele não deve precisar lembrar de
símbolos ou de processos. Um exemplo de violação à essa heurística é quando
o usuário se depara com alguma função pouco usada no sistema, mas ele não
sugere nenhuma ação para as possíveis saídas.
7. Flexibilidade e eficiência de uso; O nível de proficiência do usuário deve ser
reconhecido e o sistema se adequado a ele, com atalhos ou botões de
comandos, eles devem ser invisíveis aos usuários inexperientes. Um exemplo
de violação à essa heurística é um sistema que não possua nenhuma tecla de
atalho, prejudicando a interação de usuários mais experientes.
8. Estética e design minimalista; A interface deve se ater apenas a mostrar
informações relevantes ao usuário, evitar informações desnecessárias ou não
usadas com frequências. Um exemplo de violação à essa heurística são sites
que espalham informações que serão pouco utilizadas por toda interface.
9. Auxílio ao usuário para o reconhecimento, diagnóstico e correção de erro s;
O sistema deve ser claro quanto aos problemas que ocorrem a durante a
interação, e propor soluções simples e eficazes. Um exemplo de violação à
essa heurística são sistemas que usam formulários, mas quando algum erro de
informação acontece, não avisa em que campo ocorreu o problema.
10. Ajuda e documentação; O sistema deve possuir uma boa organização de
informações sobre a sua usabilidade, e contextualizada, e ela deve ser
facilmente encontrada. Um exemplo de violação à essa heurística é quando um
sistemas requisita uma informação pouco utilizada pelo usuário, mas não
sugere nenhum local onde encontrá-la.
24
4 METODOLOGIA
A fim de se obter os resultados desejados, foram definidas cinco etapas para que a
pesquisa tenha uma base sólida e simples de ser entendida e replicada. Também foi pensada
de tal maneira que sejam mínimas as ameaças a validade. Tais passos, foram inspirados a
partir da leitura de trabalhos já realizados (GROEN et al., 2017) (MARTIN et al., 2017)..
Para se chegar às respostas das perguntas feitas, foram analisadas críticas à usabilidade
de alguns aplicativos, fazendo-se uso das heurísticas de Nielsen. A Figura 1 mostra o fluxo
geral das atividades e os resultados de cada etapa do processo metodológico.
Figura 1- Visão Geral da Metodologia
Fonte: Elaborado pelo autor
4.1 Etapa I: Escolha dos aplicativos Para analisar comentários de usuários, é necessário, primeiro, estabelecer um conjunto
de aplicativos dos quais os comentários serão extraídos. Para minimizar possíveis ameaças à
validade da escolha desses aplicativos, este trabalho optou por escolher aplicativos populares,
que já estejam há algum tempo no mercado. O uso de sistemas novos e com públicos restritos
poderia causar a escassez de feedbacks, consequentemente prejudicando a análise de dados.
Assim como no trabalho de Groen et al. (2017), os aplicativos foram escolhidos de
acordo com as seguintes categorias:
25
1. Entretenimento, a qual envolve aplicativos de mídia como Netflix, Globo Play
e SportTV Play.
2. Produtividade, aplicativos de organização de atividades ou que auxiliam a
realização de tarefas, como Lanterna, Microsoft Word e Documentos Google.
3. Redes Sociais , aplicativos de interações com outros usuários. como Facebook,
LinkedIn e Snapchat.
4. Mensageiros, aplicativos focados em mensagens rápidas entre os usuários,
como Messenger Lite, WhatsApp e Telegram.
5. Jogos, aplicativos simples ou complexos de games, como Pou, slither.io e
Zombie Tsunami.
Isso porque essas são as cinco categorias que possuem aplicativos com o maior
número de comentários de usuários, de acordo com Pagano e Maalej (2013). Além disso, os
aplicativos são todos da plataforma Google Play, para que o responsável pela análise dos
comentários tenha acesso ao conteúdo escolhido. Um aplicativo de cada categoria, essa
escolha foi realizada entre os aplicativos mais populares. Dessa forma, este trabalho possui
um conjunto de 5 aplicativos apresentados na Tabela 2.
Tabela 2 - Aplicativos escolhidos e as categorias correspondentes
Categoria Aplicativo Descrição
Entretenimento Netflix 3 Provedora mundial de conteúdo audiovisual.
Produtividade Evernote 4 Aplicativos de organização de informações através de arquivo de notas.
Redes Sociais Facebook 5 Uma rede social, lançada em 2004, permite adicionar amigos, criar e
compartilhar mídias.
Mensageiros WhatsApp 6
Aplicativo multiplataforma que permite compartilhar mensagens quase que
instantaneamente.
3 https://play.google.com/store/apps/details?id=com.netflix.mediaclient; 4 https://play.google.com/store/apps/details?id=com.evernote; 5 https://play.google.com/store/apps/details?id=com.facebook.katana; 6 https://play.google.com/store/apps/details?id=com.whatsapp;
26
Jogos Pou 7Um jogo onde você cria um “animal”
virtual, e você pode jogar mini-jogos para comprar comida e acessórios.
Fonte: Elaborado pelo autor
A Google Play facilitou a escolha de alguns aplicativos por apresentar os candidatos
em ordem de popularidade nas suas categorias adequadas, porém, algumas categorias
(Mensageiros e Redes Sociais) não possuíam correspondentes, e isso exigiu algumas
pesquisas a mais para o entendimento do objetivo e popularidade do app. Eles foram
escolhidos com base nos critérios apresentados na metodologia, e sua popularidade foi
verificada no dia 11/10/2018.
4.2 Etapa II: Escolha dos comentários
Para a criação do conjunto de dados a serem analisados, os 300 comentários mais
recentes, a partir da data da coleta foram coletados, já que esse trabalho não tinha o propósito
de realizar nenhuma filtragem. A exata hora e data da captura dos últimos feedback´s
presentes nas páginas dos aplicativos selecionados são apresentadas na Tabela 3.
Tabela 3 - Hora e data da captura dos comentários.
Aplicativo Data da Coleta Hora da Coleta
Netflix 31/10/2018 17:31
Evernote 21/01/2019 17:45
Facebook 19/02/2019 09:25
WhatsApp 14/03/2019 10:01
Pou 27/03/2019 23:08
Fonte: Elaborado pelo autor
Essas datas e horas foram onde ocorreu o download da página com os comentários.
Posteriormente, o pesquisador transcreveu manualmente todos os 300 últimos comentários
7 https://play.google.com/store/apps/details?id=me.pou.app
27
registrados para uma planilha. O número de comentários, foi escolhido por ser viável aos
especialistas e ao pesquisador realizarem as análises em um tempo hábil, também, é um
número amostral considerável, a fim de evitar problemas com ameaças a validade neste
aspecto. O pesquisador realizará 1500 de análise no total, e os especialistas 300.
4.3 Etapa III: Análise dos comentários Uma vez de posse dos comentários, as heurísticas de Nielsen foram utilizadas para
classificá-los. Ou seja, o pesquisador leu e interpretou o escopo do comentário, em seguida
classificou aquele comentário, se existe ou não referência à alguma heurística. Além de
registrar se ocorre a referência a mais de uma e quais heurísticas referenciada. Essa análise foi
realizada em um formulário de planilha eletrônica. Uma parte deste formulário pode ser visto
no Apêndice A.
Por exemplo, o seguinte comentário, “ Não dá para saber qual live é gravada e qual é
ao vivo”, é de um aplicativo chamado Periscope, da categoria entretenimento. Tal comentário
pode ser classificado como uma violação à heurística de Visibilidade do status do sistema
pois não apresenta um feedback para o usuário.
O primeiro aplicativo a ter os feedback´s analisados foi a Netflix. Em seguida,
Evernote, Facebook, Whatsapp e Pou.
4.4 Etapa IV: Avaliação com especialistas
Com o objetivo de demonstrar que a análise foi realizada de forma satisfatória,
adicionamos uma etapa de avaliação com especialistas. Nessa etapa, duas pessoas com
experiência em inspeções de interface utilizando heurísticas de Nielsen foram convidadas. O
perfil desses especialistas está descrito na Tabela 4.
Tabela 4 - Perfil dos Especialistas.
ID Grau de escolaridade Experiência com avaliações de Usabilidade
Área de Especialidade
#1 Mestre em Ciência da Computação
Entre 10 e 15 avaliações Experiência do Usuário, Avaliações de Usabilidade
28
#2 Mestrando em Ciência da Computação
> 6 avaliações Desenvolvimento de jogos, gamificação, avaliação heurística
Fonte: Elaborado pelo autor
Um formulário contendo todas as análises de todos os aplicativos foi enviado para
ambos os especialistas, o qual é apresentado no Apêndice B. Além disso, esse formulário
possui campos onde eles deveriam colocar se concordam ou não com a classificação proposta,
e caso exista a discordância, há outros dois campos onde deveriam colocara justificativa, e a
nova heurística referenciada (caso possuam sugestões).
4.5 Etapa V: Compilação e relato dos resultados Primeiramente, uma consolidação dos resultados das avaliações dos especialistas foi
realizada. O objetivo dessa consolidação é, primeiramente, verificar se houve discordância
dos dois especialistas com relação a cada uma das análises. Se os dois especialistas
discordassem, uma correção era feita. Por fim, após essas correções, uma consolidação de
todos os dados é realizada. Tal consolidação é apresentada em uma tabela que reúne todas as
violações às heurísticas de Nielsen, coletadas nas etapas previamente descritas.
29
5 RESULTADOS
Este capítulo apresenta os resultados das análises. Primeiramente, os resultados da
avaliação dos especialistas são apresentados. Após isso, os resultados finais são apresentados.
5.1. Resultados da Avaliação com Especialistas
Os especialistas avaliaram as análises apenas do aplicativo Netflix. Ambos
concordaram com a grande maioria das referências apontadas pelo pesquisador, como
podemos observar no Gráfico 1. Das 300 análises (correspondentes aos 300 comentários), o
Especialista 1 concordou com 252, o que corresponde a um grau de 84% de concordância. Já
o Especialista 2 concordou com 254 análises, correspondendo a 84,6% de concordância. Isso
pode mostrar que as análises foram na sua grande maioria satisfatórias, o que pode se repetir
nos outros aplicativos, mostrando um indicativo da confiabilidade dos resultados.
Gráfico 1 - Comparação de concordância entre os especialistas
Fonte: Elaborado pelo autor
A fim de tomar uma decisão sobre essas discordâncias, analisamos mais
profundamente elas. Apesar dos números de “discordância” da análise estarem parecidos, nem
sempre essas discordâncias eram compatíveis. Ou seja, nem sempre que um discordou, o
30
outro especialista discordou também. No entanto, observamos que a maioria eram
discordâncias mútuas (32 no total).
A Tabela 4 apresenta esses 32 comentários. Nela, pode-se perceber que 25 dos
comentários não foram inicialmente classificados com heurísticas, levando os especialistas a
discordarem deste resultado e, consequentemente, proporem classificações. Assim, como
forma de atender às sugestões dos especialistas, as heurísticas propostas foram adicionadas.
As heurísticas que tiveram mais sugestões foram a 1 - Visibilidade do status do
sistema, com 44 indicações e a 9 - Auxílio ao usuário para o reconhecimento, diagnóstico e 8
correção de erros, com 39 indicações.
Tabela 5 - Discordâncias mútuas entre os especialistas
Comentário 1 “Muito bom esse app uma opinião minha é q vcs poderiam por alguma opção pra mexer no volume sem apertar nenhum botão tlgd e tbm poderia ter um negócio pra ver a
Netflix mesmo mexendo em outro app por exemplo o whatsapp ia ser dahora ver um filme/série e conversar ao mesmo tempo ;) só uma opinião”
Análise do Pesquisador
Não há referência
Análise do Especialista 1
Justificativa: “O usuário (mais experiente) sente falta de atalhos (aceleradores) para aprimorar a sua interação: opção para alterar o volume sem usar os botões do dispositivo e opção para visualizar o vídeo enquanto usa outro aplicativo.”
Proposta: Classificar com heurística 7
Análise do Especialista 2
Justificativa: “Usuário ta relatando como poder ser melhor e mais eficiente o uso dele com a aplicação.”
Proposta: Classificar com heurística 7
Comentário 2 “Não consigo mais acessar minha conta. Já desinstalei e instalei de novo e nada.”
Análise do Pesquisador
Não há referência
Análise do Especialista 1
Justificativa: “O sistema pode não estar recomendando uma solução apropriada para ajudar o usuário a se recuperar do erro (nesse caso, não conseguir acessar sua conta).”
Proposta: Classificar 9
Análise do Especialista 2
Justificativa: “Se encaixa nas heuristias pela ausência de feeedback e pela não resolução do problem em si em saber o que fazer.”
Proposta: Classificar 1 e 9
8 Esse número corresponde à soma de indicação dos dois especialistas.
31
Comentário 3 “Sinto falta das sinopses. Não dá pra saber muito bem do que se trata antes de assistir.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa:O comentário indica violação à heurística 8, visto que uma informação relevante - a sinopse - não está sendo apresentada ao usuário, não caracterizando o projeto como minimalista
Proposta: Classificar 8
Análise do Especialista 2
Justificativa: “Falta de feedback das funcionalidades do sistema e conteúdos em si.”
Proposta: Classificar 1
Comentário 4 “Eu estava assistindo a série diário de um vampiro e a série sumiu aff odeio isso concertem por favor”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O usuário não entende porque uma série que ele estava assistindo foi removida do catálogo sem que ele tivesse sido avisado sobre isso.
Proposta: Heurística 1
Análise do Especialista 2
Justificativa: Sumiu do "nada" problema de feedback
Proposta: Heurística 1
Comentário 5 “O browser deveria ser mais simples, os filmes e séries estão sempre repetidos quando se navega pelos géneros.”
Análise do Pesquisador
Referência à heurística número 6
Análise do Especialista 1
Justificativa: O comentário também indica violação à heurística 2, visto que mostrar conteúdos repetidos em diferentes gêneros não é compatível com a ordem natural e lógica do usuário; e ainda, a heurística 8, já que os conteúdos repetidos se tornam informações irrelevantes, diminuindo a visibilidade dos conteúdos com gêneros distintos.
Proposta: Heurísticas 2, 6 e 8
Análise do Especialista 2
Justificativa:Ele acha que poderia ser mais simples e direto tbm, casaria as duas heuristica 6 e 1
Proposta: Heurísticas 1 e 9
Comentário 6 ‘Era um ótimo app mas com a última att se vc sair da conta vc e obrigado a desinstalar e reinstalar o app pq vc não consegue mais entrar, só dá erro”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O sistema não está ajudando o usuário a se recuperar do erro relacionado a não conseguir acessar seu perfil após um logout.
Proposta: Heurística 9
32
Análise do Especialista 2
Justificativa: Problema que afeta a usabilidade também
Proposta: Heurística 1 e 9
Comentário 7 “O aplicativo não abre aaaaaaaa”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: Estou em duvida se eh um problema de acesso, deixo para uma consolidação isso.
Proposta: 9
Análise do Especialista 2
Justificativa: Problema que afeta ausabilidade também
Proposta: 1 e 9
Comentário 8 ‘Não consigo mais acessar a Netflix, só dá erro na rede, espero q consertem logo pq não vou pagar por uma coisa q não estou usando😡😡”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: Problema semelhante aos relatados nos comentários 31 e 40
Proposta: 9
Análise do Especialista 2
Justificativa: Não ta sabendo recuperar do erro nem que procedimento tomar
Proposta: 9
Comentário 9 “Dando erro (-14) quando não é isso é (7.4) muito ruim não está pegando no meu aparelho Samsung A9. Vou cancelar a assinatura. Nem a ajuda não pega, não posso falar com ninguém é quando pegou não resolveram nada. Pra acaba não pega mas nada nem no celular , e Internet Explorer... Netflix. Abre agora mas não roda o filme”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O usuário relata que não consegue solicitar ajuda (heurística 10). E também reclama que quando o aplicativo abre, não é possível ver o filme, nesse caso, a ajuda apropriado pode não estar sendo fornecida ao usuário para ele se recuperar do erro (heurística 9)
Proposta: 9
Análise do Especialista 2
Justificativa: Não sabe como resolver um problema Proposta: 9 e 10
Comentário 10 “Antigamente baixada os filmes rapidinho, agora demora um século e não é minha internet pq assisto inúmeras coisas no not e baixo filme pelo site no not em questão de segundos. Nesse momento estou desde 11:15 e já são 12:24 o download ainda está em 59%.. Tá complicado.”
Análise do Pesquisador
Referência a heurística 9.
Análise do Especialista 1
Justificativa: O comentário não revela um problema sobre o aplicativo não auxiliar no reconhecimento, diagnóstico e recuperação de erro. O que o usuário relata é um problema de baixo desempenho para concluir a tarefa (baixar o filme).
Proposta: Retirada da referência
33
Análise do Especialista 2
Justificativa: Impacta tambem nas eficiência de uso Proposta: Adicionar referência a heurística 7, além da 9
Comentário 11 “Depois da última atualização, se vc baixa off line ele trava, vc não consegue virar e nem ir pra frente ou parar trás o vídeo.. complicado”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está deixando claro para o usuário os problemas que estão acontecendo, não ajudando ele a reconhecer, diagnosticar e se recuperar dos erros
Proposta: 9
Análise do Especialista 2
Justificativa: Falta de feedback de informar o que foi atualizado e de não saber recuperar do erro
Proposta: 1 e 9
Comentário 12 “Após atualização que fiz em 29 de outubro o aplicativo apresenta problemas. Não consigo pausar, adiantar, voltar e a tela não vira quando eu vir o celular.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: Não está claro para o usuário os problemas que podem estar impedindo ele de alcançar seus objetivos, em que o aplicativo não está ajudando na recuperação de erros
Proposta: 9
Análise do Especialista 2
Justificativa: mesma coisa do comentário anterior Proposta: 1 e 9
Comentário 13 “Hoje não tô conseguindo baixar e nem ver séries e filmes. E agora??”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: Assim como nos comentários 142 e 143, o aplicativo deveria ajudar o usuário no reconhecimento, diagnóstico e recuperação de erros
Proposta: 9
Análise do Especialista 2
Justificativa: Ocorreu um erro e o usuário não sabe se recuperar ou saber o que houve
Proposta: 1 e 9
Comentário 14 “Na esta abrindo. Diz que está com erro…”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está auxiliando o usuário a se recuperar do erro.
Proposta: 9
Análise do Especialista 2
Justificativa: Usuário perdido apó o erro Proposta: 9
Comentário 15 “Caros amigos, o App não está reconhecendo corretamente o chromecast na minha rede, as vezes percebe, mas logo trava e o mesmo problema não acontece em outros apps como YouTube.. Fica aí o meu report!”
34
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro (problema de conexão do chromecast)
Proposta: 9
Análise do Especialista 2
Justificativa: Proposta: 1 e 9
Comentário 16 “Aplicativo simplesmente não abre. Não consigo acessar o App a uns dias já.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro.
Proposta: 9
Análise do Especialista 2
Justificativa: Usuário em situação de erro e falta de feedback
Proposta: 9
Comentário 17 “A netflix não esta abrindo mais depois da atualização arrumem isso”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: “O aplicativo não está auxiliando o usuário a reconhecer, diagnosticar e se recuperar do erro.”
Proposta: 9
Análise do Especialista 2
Justificativa: Proposta: 1 e 9
Comentário 18 “Nesta última versao sumiu o ícone para conectar com o chrome cast”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: “O usuário não consegue reconhecer na interface a opção de conexão com o chromecast, que deveria estar visível na interface. Problema semelhante ao relatado no comentário 114”
Proposta: 6
Análise do Especialista 2
Justificativa: Proposta: 1
Comentário 19 “Péssima atualização, acabei de atualizar o aplicativo agora não consigo assistir pq ele sai sozinho”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está ajudando o usuário a se recuperar do erro.
Proposta: 9
Análise do Especialista 2
Justificativa: Não sabe contornar um problema Proposta: 9
35
Comentário 20 “Já troquei a senha da minha contas 3 vezes nos últimos meses e com pouco período de tempo aparece para eu trocar que minha senha está incorreta, sendo que só eu tenho acesso a conta e não a mudo. Quero que isso seja resolvido, já estou de saco cheio”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está ajudando o usuário de forma apropriada a reconhecer, diagnosticar e se recuperar do erro relacionado ao reconhecimento da sua senha.
Proposta: 9
Análise do Especialista 2
Justificativa: Usuário não consegue se precaver do erro e nem sabe como resolver o problema
Proposta: 9 e 5
Comentário 21 “Não tô conseguindo baixar, o download não sai de 0%. E não, não é minha internet que tá com problemas.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está fornecendo feedback adequado para informar ao usuário o que está acontecendo atualmente.
Proposta: 1
Análise do Especialista 2
Justificativa: problema de sbaer solucionar o erro e o feedback
Proposta: 1 e 9
Comentário 22 “Atualizou ontem e desde então não consigo mais assistir minha série e nem a encontro mais, sempre que pesquiso não acho”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está fornecendo feedback apropriado para informar ao usuário porque a série que ele estava assistindo não está mais disponível.
Proposta: 1
Análise do Especialista 2
Justificativa: Problema de feedback Proposta: 1
Comentário 23 “O app tá dando muito erros, tá saindo da minha conta sozinho e quando vou logar diz senha incorreta sendo que a senha tá certa e agora só dá para baixar 3 episódios por vez, não gostei.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está ajudando o usuário a reconher, diagnosticar e se recuperar dos erros (sair da conta sozinha e não reconhecer a senha do usuário).
Proposta:9
Análise do Especialista 2
Justificativa: Proposta:9
Comentário 24 “Eu tava assistindo uma série e agora não encontro mais ela alguém me ajuda por
36
favor”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está fornecendo feedback apropriado para informar ao usuário porque a série que ele estava assistindo não está mais disponível.
Proposta: 1
Análise do Especialista 2
Justificativa: feedback Proposta: 1
Comentário 25 “Poxa eu tava assistindo uma série e derrepente a série sumio do app consertem isso por favor”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não informou ao usuário que uma série que ele estava assistindo foi excluída do catálogo. O usuário ficou com a sensação de que ela "sumiu".
Proposta: 1
Análise do Especialista 2
Justificativa: Feedback Proposta: 1
Comentário 26 “A serie diario de um vampiro sumiu 😟😟”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O comentário pode indicar que o aplicativo não informou ao usuário sobre a exclusão de uma série. Problema semelhante ao relatado no comentário 277.
Proposta: 1
Análise do Especialista 2
Justificativa: Feedback Proposta: 1
Comentário 27 Sou apaixonada pela Netflix, porém depois dessas atualizações os filmes bons que tinha sumiram tudo.E as temporadas de The Fosters e entre outras séries sumiram do nada 😕
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está informando ao usuário porque determinados filmes e séries foram excluídos do catálogo. Ele se sente perdido sem saber porque esse itens "sumiram".
Proposta: 1
Análise do Especialista 2
Justificativa: Feedback Proposta: 1
Comentário 28 “O aplicativo não quer muda a língua nem tirar ou por legenda”
Análise do Pesquisador
Referência a heurística 7
37
Análise do Especialista 1
Justificativa: Além da heurística 7, o aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro (heurística 9), por exemplo, tirar ou colocar legenda.
Proposta: 7 e 9
Análise do Especialista 2
Justificativa: Acho que seria mais a liberdade e controle do usuário essa ação do que propriamente a 3
Proposta: 3
Comentário 29 “Sumiram com minha série! Coloquem logo the vampire diarie de novo "diário de um vampiro"”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não informou ao usuário de forma apropriada sobre a exclusão de uma série do catálogo
Proposta: 1
Análise do Especialista 2
Justificativa: Feedback Proposta: 1
Comentário 30 “Bom dia. Tem 2 dias que não consigo utilizar normalmente o app. O que está acontecendo? Na maioria não consigo abrir o app ou quando consigo o aplicativo para e fecha tudo.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro.
Proposta: 9
Análise do Especialista 2
Justificativa: Aplicativo deveria dar alguma mensagem pra direiconar o problema
Proposta: 9
Comentário 31 “Atualizei não abre mais. ATENÇÃO PAIS! Conteúdo infantil tem que ser supervisionado.”
Análise do Pesquisador
Não há referências
Análise do Especialista 1
Justificativa: O comentário pode indicar que o aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro. Problemas semelhantes foram relatados em outros comentários, como no 57.
Proposta: 9
Análise do Especialista 2
Justificativa: "Atualizei não abre mais." Classifcaria como a heuristica 9
Proposta: 9
Comentário 32 “Não estou conseguindo entrar da so erro pa acessar”
Análise do Pesquisador
Não há referências
Análise do Justificativa: Novamente o aplicativo não está Proposta: 9
38
Especialista 1 auxiliando o usuário a reconhecer, diagnosticar e se recuperar do erro.
Análise do Especialista 2
Justificativa: Aplicativo deveria dar alguma mensagem pra direiconar o problema
Proposta: 9
Fonte: Elaborado pelo autor
No caso dos comentários em que um especialista concordou e o outro não, também
foram adicionadas às heurísticas sugeridas. Dessa forma, a decisão final estava sempre
relacionada com a adição de heurísticas aos comentários.
A próxima seção apresenta os resultados finais, inclusive considerando as novas
classificações dos especialistas, no caso do Netflix.
5.2 Resultados Finais
Essa Seção apresenta a frequência de classificações das heurísticas encontradas na
análise dos trezentos comentários de cada aplicativo. O Gráfico 2 apresenta a quantidade total
de comentários classificados com heurísticas de cada aplicativo das cinco categorias distintas.
Gráfico 2 - Números de classificações das heurísticas por aplicativo
Fonte: Elaborado pelo autor
39
De maneira geral, através do Gráfico 1, foi possível observar que um número baixo de
comentários foi classificado com violações às heurísticas de Nielsen. Dos 1500, apenas 152
foram classificados (13%).
Os comentários que não possuem violações às heurísticas de Nielsen normalmente tem
um tamanho parecido, a grande maioria dos comentários tem tamanho curto, algo até 50
caracteres. A maioria deles, que não possuem referência são de feedback´s bem curtos, de
uma ou duas palavras ou emojis . Outros se referem a funcionalidades do sistemas, sugerindo
alguma nova ou modificações nas já existentes.
Como é possível observar no Gráfico 1, o aplicativo com mais classificações foi o
Netflix. Muitos dos reviews estavam relacionados sobre a retirada de um conteúdo (i.e. ,
seriados retirados do ar). Nesse caso, houve uma dificuldade inicial em entender se essas
retiradas de conteúdos, sem aviso prévios aos usuários que assistiam, eram problemas de
Usabilidade. Como essa situação poderia ser atenuada com uma simples mensagem no último
mês daquele conteúdo na plataforma, resolvemos classificá-los como problemas de
usabilidade. Porém, é importante dizer que é possível que essa ausência de informação ao
usuário tenha sido uma escolha relacionada às regras de negócio da Netflix.
O segundo aplicativo com mais comentários classificados foi o Evernote. A
característica mais presente nos feedback´s analisados estava relacionada com críticas a última
atualização implementada. Outra característica marcante foi a constante presença de
reclamações ao fato de o aplicativo apenas disponibilizar todas suas funções apenas para
usuários pagantes.
Facebook e Whatsapp obtiveram números aproximados de classificações, 15 e 12
respectivamente. Por último e com poucas classificações foi o jogo Pou. O que foi notável é
que há vários feedback´s defendendo ou ofendendo a qualidade do sistema, a gigante maioria
deles sem crítica nenhuma a qualquer característica concreta do aplicativo, provavelmente os
usuários apenas refletiam uma boa ou má experiência de maneira geral.
Os Gráficos 3, 4, 5, 6 e 7 apresentam as quantidades de heurísticas referenciadas em
cada um dos cinco aplicativos estudados.
40
Gráfico 3 - Classificações do Netflix
Fonte: Elaborado pelo autor
Gráfico 4 - Classificações do Evernote
Fonte: Elaborado pelo autor
41
Gráfico 5 - Classificações do Facebook
Fonte: Elaborado pelo autor
Gráfico 6 - Classificações do Whatsapp
Fonte: Elaborado pelo autor
42
Gráfico 7 - Classificações do Pou
Fonte: Elaborado pelo autor
Os dados anteriormente apresentados foram compilados no Gráfico 8, apresentado a
seguir, onde é possível verificar todas as heurísticas encontradas nos comentários dos cinco
aplicativos e suas frequências.
Gráfico 8 - Classificações de heurísticas por aplicativo.
Fonte: Elaborado pelo autor
43
Adicionalmente, é interessante apresentar que foi verificado a presença de alguns
comentários referenciando mais de uma heurística. O Gráfico 9 apresenta a quantidade de
heurística por feedback .
Gráfico 9 - Quantidade de referências por feedback-pesquisador.
Fonte: Elaborado pelo autor
44
6 DISCUSSÃO
A diferença de percentual das classificações das heurísticas entre os aplicativos
analisados é bastante chamativa. Uma grande quantidade de comentários coletados não foram
classificados com heurísticas.
Nos comentários dos aplicativos Whatsapp e Facebook, existe a presença de vários
feedback´s com intuito de apenas promover o contato pessoal do usuário, como links para o
perfil na rede social e número do mensageiro. Assim, é possível afirmar que se um avaliador
fosse refazer as análises desses aplicativos, ele/ela poderia simplesmente ignorar tais
comentários. Poupando bastante tempo e permitindo que o avaliador tivesse mais feedback´s
analisados com a mesma quantidade de tempo.
Já no aplicativo Pou, foi possível verificar um fenômeno diferente, que chegou a
exercer uma influência ainda maior que o citado anteriormente. A grande maioria dos
comentários retratavam o amor ou ódio do usuário pelo jogo, sem criticar diretamente
qualquer característica. Esses feedback´s apenas afirmavam que o sistema era ruim ou bom, as
vezes buscando ofender quem tinha a opinião oposta.
Existem outras áreas na Internet em que os usuários de um sistema podem fornecer
algum feedback, e acontece esse mesmo fenômeno, como comentários de notícias, redes
sociais e até mesmo em comentários de outros jogos em lojas de aplicativos. Porém, não é
proposta deste trabalho desenvolver essa discussão.
Foi possível observar que os dois aplicativos com maior percentual de classificações
das heurísticas (Netflix e Evernote) receberam atualizações um pouco antes da captura dos
comentários. Consequentemente, o que os usuários escreveram continha muitas críticas às
mudanças que aconteceram, positivas ou negativas.
Ademais, muitos dos comentários analisados só contém um símbolo, como um emoji,
ou uma palavra apenas, como “amei”. Se no processo de coleta fossem retirados esses
feedback´s, o percentual de classificações iria aumentar notavelmente, uma vez que nenhum
desses referenciam alguma heurística. A Tabela 6 apresenta exemplos de comentários desse
tipo, sem nenhum conteúdo que possa ser aproveitado para uma avaliação heurística.
45
Tabela 6 - Exemplos de comentários sem conteúdo da Netflix
Número do comentário Comentário Análise
8 “Shopping” Sem referências
13 “Amooooooooo” Sem referências
20 “Bom” Sem referências
50 “👍 ” Sem referências
72 “Melhor da vida” Sem referências
77 “😍😍😍 ” Sem referências
282 “Bom muito bom” Sem referências Fonte: Elaborado pelo autor
Dado o exposto, podemos concluir que os números brutos para se encontrar uma
referência às heurística de Nielsen são bem baixos. Porém, analisando o cenário e todos os
processos envolto desses números, podemos enxergar um potencial bem claro na análise de
feedback´s em lojas de aplicativos.
Por exemplo, os feedback´s com uma única palavra representam 14% do total de
comentários no aplicativo Netflix, e nenhum deles fazem qualquer referência às heurísticas.
Desenvolvendo ainda mais essa ideia, os comentários com até duas palavras, que também não
possuem nenhuma referência às heurísticas, representam 28,7% do total.
Porém a escolha do autor em não filtrar esses comentários neste estudo foi para
conseguir dados sólidos da frequência desses comentários. Se houvesse algum filtro não
haveria esses dados, nem se poderia analisar se eles são realmente vazios, quanto a referências
à heurísticas de Nielsen.
Não foi verificado a existência de comentários muito curtos que fazem referências às
heurísticas, isso leva a conclusão de que existe um recorte ideal para as escolhas de
comentários a serem analisados. O descobrimento desse número exige um estudo próprio, e
provavelmente ele seja diferente para cada categoria de aplicativo analisado.
Ou seja, a análise de comentários em lojas de aplicativo usando as heurísticas pode
sim ser uma ferramenta bem útil para encontrar problemas de usabilidade em um sistema. E
ela se encaixa perfeitamente em alguns cenários específicos, como quando um sistema acaba
46
de receber uma atualização, e os desenvolvedores querem descobrir alguma disfunção que
pode estar presente na interface.
Ademais, é bem evidenciado que as duas heurísticas mais referenciadas foram a 1 e a
9, que, respectivamente, tratam da visualização do status do sistemas e ajuda a prevenção de
erros. São fatores que estão diretamente ligados a experiência do usuário na utilização do
sistema e é possível realizar mais análises a partir dessa evidência.
A recorrência de referências à heurística 1 se deu principalmente pela análises dos
comentários do aplicativo Netflix, uma vez que os comentários foram capturados logo após
uma atualização, onde foi retirado alguns conteúdos populares da plataforma de streaming.
Como o sistema não faz algum tipo de aviso quando o conteúdo será retirado, vários usuários
relataram o problema de estarem assistindo a série e de um dia para o outro não possuírem
mais acesso ao conteúdo.
E as múltiplas referências a heurística 9 (Auxílio ao usuário para o reconhecimento,
diagnóstico e correção de erros), ocorreu principalmente pois os usuários reportaram erros,
independente da sua gravidade. O pesquisador e especialistas acabaram enquadrando tais
feedback´s na categoria dessa heurística, uma vez que é possível descobrir meios que
previnam tais erros.
A análise da recorrência das classificações das heurísticas é de grande utilidade para
futuras pesquisas. Por exemplo, através desses números é possível saber quais aspectos mais
reportados pelos comentários, quais heurísticas mais referenciadas, quando as referências são
mais presentes, entre outros usos que podem surgir com o tempo.
47
7 CONCLUSÃO
Este trabalho procurou identificar e entender referências das heurísticas de Nilsen em
comentários de lojas de aplicativo.
Para se atingir tal objetivo, foi estudado a existência dessas referências e sua
frequência em um número bruto de feedback´s, capturados seguindo a ordem de mais
recentes, em determinada hora e data. Comentários retirados de aplicativos escolhidos em
cinco categorias distintas.
Posteriormente, foram realizadas análises de todos os comentários. Em alguns destes,
também foi usado o auxílio de dois especialistas. Identificadas as referências, foi possível
entender melhor a frequência com que ocorreram e como ocorreram.
Através dos resultados numéricos apresentados, é possível verificar a possibilidade do
uso da análise de referências às heurísticas de Nielsen em comentários de lojas de aplicativos,
como uma forma alternativa de avaliação da usabilidade em um sistema.
Este trabalho também apresenta as circunstâncias e os cenários onde essa forma de
avaliação seria mais útil, considerando o contexto de funcionamento do mercado de
aplicativo, com atualizações e ciclo de vida desses sistemas.
Como este trabalho tem caráter mais exploratório, é possível enxergar várias
pesquisas que podem surgir a partir das conclusões apresentadas aqui.
O primeiro trabalho a ser sugerido é um estudo que busque um tamanho “ideal” para
se achar comentários com referências às heurísticas. A fim de apresentar um filtro para a
captura automatizada e aumentando as chances dos comentários com conteúdo mais rico
serem capturados e analisados, com o menor quantidade de recursos possível.
Outro trabalho sugerido, seria um estudo para o aperfeiçoamento de classificação das
referências à heurísticas com o objetivo de uso em comentários de lojas de aplicativo. Seria
um passo importante para uma possível automatização do processo.
48
REFERÊNCIAS
BARBOSA, S.; SILVA, B. Interação humano-computador. [S.l.]: Elsevier Brasil, 2010.
BENYON, D.; TURNER, P.; TURNER, S. Designing interactive systems: people, activities, contexts, technologies. [S.l.]: Pearson Education, 2005.
GROEN, E. C.; KOPCZYNSKA, S.; HAUER, M. P.; KRAFFT, T. D.; DOERR, J. Users—the hidden software product quality experts?: A study on how app users report quality aspects in online reviews. In: IEEE. Requirements Engineering Conference (RE), 2017 IEEE 25th International. [S.l.], 2017. p. 80–89.
ISO/IEC 9126-1. Engenharia de software-Qualidade de produto. Parte, v. 1, n. 58, p. 68–76, 2003.
LU, M.; LIANG, P. Automatic classification of non-functional requirements from augmented app user reviews. In: ACM. Proceedings of the 21st International Conference on Evaluation and Assessment in Software Engineering. [S.l.], 2017. p. 344–353.
MARTIN, W.; SARRO, F.; JIA, Y.; ZHANG, Y.; HARMAN, M. A survey of app store analysis for software engineering. IEEE transactions on software engineering, IEEE, v. 43, n. 9, p. 817–847, 2017.
OLIVEIRA NETTO, Alvim Antonio de. IHC e a engenharia pedagógica : interação humano computador. Florianopolis: VisualBooks, 2010.
NIELSEN, Jakob; LORANGER, Hoa. Usabilidade na web. Rio de Janeiro: Elsevier, 2007.
NIELSEN, J. Usability engineering . [S.l.]: Elsevier, 1994.
NIELSEN, J.; MOLICH, R. Heuristic evaluation of user interfaces. In: ACM. Proceedings of the SIGCHI conference on Human factors in computing systems. [S.l.], 1990. p. 249–256.
PAGANO, D.; MAALEJ, W. User feedback in the appstore: An empirical study. In: IEEE. Requirements Engineering Conference (RE), 2013 21st IEEE International . [S.l.], 2013. p. 125–134.
49
APÊNDICE A - TABELA UTILIZADA PELO PESQUISADOR
APÊNDICE B – INSTRUMENTO DE COLETA DE DADOS
50