1

SUMÁRIO

RESUMO EXECUTIVO…………………………………………………. 3

1 INTRODUÇÃO………………………………………………………….... 4

1.1 O que é o RioCard?…………………………………………………….. 4

1.2 Quem pode comprar o vale transporte?…………………………... 4

1.3 Objeto avaliado…………….…………………………………………… 4

2 METODOLOGIA DO TESTE………………………………………..….. 7

2.1 Objetivos…………………………………………………………….…… 7

2.2 Público­alvo e definição de amostra……………………………….. 7

2.3 Ambiente, tipo de teste e equipamento………………………..…. 7

2.4 Papéis da equipe…………………………….…………………………. 7

2.5 Métricas de avaliação…………………………………………………. 7

2.6 Cenários e tarefas……………………………………………………... 8

2.7 Questionário Pré­teste…………………………………………….….. 8

2.8 Questionário Pró­teste…………………………………………....….. 9

2.9 Pré­testes…………………………………………………………….….. 9

2.10 Roteiro……………………………………………………………………. 10

3 APRESENTAÇÃO DE DADOS…………………….………………….. 11

3.1 Perfil dos participantes……………………………………………….. 11

3.2 Métricas das tarefas…………………………………………………... 11

3.3 Dados do questionário pós­teste…………………………………… 13

3.4 Perguntas discursivas……………………………………………….. 15

2

3.5 Comentários em destaque…………………………………………… 17

4 ANÁLISE E RECOMENDAÇÕES…………………………………….. 18

4.1 Gráfico de heurísticas violadas…………………………………….. 18

4.2 Principais descobertas por tarefa………………………………….. 22

4.3 Recomendações de curto prazo……………………………………. 25

4.4 Recomendações de médio prazo…………………………………… 25

4.5 Recomendações de longo…………………………………………… 32

5 CONCLUSÃO…………………………………………………………… 33

6 LIÇÕES APRENDIDAS………………………………………………… 34

APÊNDICE A ­ ROTEIRO ­ TESTE DE USABILIDADE – SISTEMA

RIOCARD…………………………………………..………...

36

APÊNDICE B ­ TERMO DE AUTORIZAÇÃO ­ TESTE DE

USABILIDADE – SISTEMA RIOCARD………………………………..

37

APÊNDICE C ­ QUESTIONÁRIO PRÉ­TESTE ­ PESQUISA DE

USABILIDADE DO PORTAL RIOCARD …………….......................

39

APÊNDICE D ­ QUESTIONÁRIO PÓS­TESTE ­ PESQUISA DE

USABILIDADE DO PORTAL RIOCARD……………………..............

42

ANEXO A ­ ANÁLISE DOS TESTES ­ PARTICIPANTE A……….... 46

ANEXO B ­ ANÁLISE DOS TESTES ­ PARTICIPANTE B ………... 48

ANEXO C ­ ANÁLISE DOS TESTES ­ PARTICIPANTE C ……..…. 53

ANEXO D ­ ANÁLISE DOS TESTES ­ PARTICIPANTE D ………... 56

ANEXO E ­ ANÁLISE DOS TESTES ­ PARTICIPANTE E ………… 58

ANEXO F ­ IMAGENS DO SISTEMA……………………………….... 60

3

RESUMO EXECUTIVO

Este projeto tem como objetivo principal verificar como o usuário consegue

desenvolver as tarefas e identificar os possíveis problemas de arquitetura de

informação, encontrabilidade de informações e outras deficiências de usabilidade do

sistema de recarga online do vale­transporte eletrônico da cidade do Rio de Janeiro,

o RioCard.

Para a realização dos testes foram elaborados um roteiro, um termo de autorização

e ciência, um questionário pré­teste e um questionário pós­teste. Para validarmos

esses instrumentos realizamos um pré­teste, onde constatou­se a necessidade de

reformular algumas questões dos questionários de pré e pós­teste e estipular o

tempo para a realização de cada tarefa.

No total foram realizados 3 pré­testes e 6 testes, com o descarte de 1 teste. Para

análise e classificação dos dados foram utilizados os 10 princípios de heurística de

Nielsen e como resultados obtemos vários comentários dos participantes, métricas

das tarefas e recomendações de curto, médio e longo prazo.

Logo, os principais problemas encontrados apontam a equivalência entre o sistema

e o mundo real, a prevenção de erros e o reconhecimento ao invés de lembrar como

princípios de heurística mais violados. Além disso, detectamos também problemas

de arquitetura de informação, rotulagem, e iteração do site. Já as recomendações

expõem justamente soluções para os problemas apresentados como a reformulação

de todos os formulários do sistema e dos termos utilizados no menu de navegação

do site, a exibição na tela inicial das principais funcionalidades do sistema e a

criação de mecanismos de ajuda e acessibilidade para o usuários.

4

1 INTRODUÇÃO

1.1 O que é o RioCard?

O RioCard é o sistema de bilhetagem eletrônica do Estado do Rio de Janeiro. Ele

utiliza a tecnologia de cartões smartcard sem contato, que funcionam por rádio

freqüência, permitindo estabelecer uma comunicação com o equipamento que faz a

leitura dos cartões, o validador, para débito da tarifa e liberação da roleta ou recarga

de créditos.

O cartão RioCard funciona como um vale­transporte eletrônico, que substitui o

dinheiro, facilitando o problema de falta de troco e diminuindo o tempo de embarque

dos passageiros.

1.2 Quem pode comprar o vale transporte?

Qualquer pessoa física ou jurídica pode comprar o cartão, bastando possuir CPF,

CNPJ ou CEI. Usuários cadastrados no site do vale­transporte RioCard podem

comprar o Vale­Transporte Convencional Riocard recarregável. Usuários não

cadastrados no site podem comprar o Vale­Transporte Rápido RioCard

(pré­carregado) nas lojas RioCard e na rede de agências do Itaú

Dentro do sistema de compra do Riocard, o comprador é a entidade responsável

pela compra de recargas, solicitação de novos cartões, cancelamentos, entre outras

atividades

1.3 Objeto avaliado

Sistema de recarga online do vale­transporte eletrônico da cidade do Rio de Janeiro,

o RioCard (www.cartaoriocard.com.br).

5

6

Tela de comprador pessoa física ("Para Você")

7

2 METODOLOGIA DO TESTE

2.1 Objetivos

Nosso teste de usabilidade teve como objetivo verificar o modo que o usuário

consegue realizar as tarefas, identificando no processo os possíveis problemas de

arquitetura de informação, encontrabilidade de informações e outras deficiências de

usabilidade.

2.2 Público­alvo e definição da amostra

Usuários novatos: recém cadastrados e que ainda não tem familiaridade com o

sistema. A amostra foi de 6 usuários, abordados no campus da PUC, e apenas 1

teste invalidado.

2.3 Ambiente, tipo de teste e equipamentos

Teste de usabilidade avaliativo, realizado no Pilotis ­ PUC, utilizando um notebook

com navegador Chrome, Camtasia para captura da tela e rosto do usuário, além de

um iPad para gravar tudo.

2.4 Papéis da equipe

Decidimos intercalar os papéis, para que todos tivessem a oportunidade de

desempenhar as seguintes funções: moderador, anotador, operador de câmera e

observador. Cada teste foi revisto por dois membros da equipe, para coletar

destaques e comentários de diferentes perspectivas.

2.5 Métricas de avaliação

Avaliamos o tempo de execução de cada tarefa e a quantidade de informações

relevantes levantadas pelos usuários durante a realização do teste.

8

2.6 Cenários e Tarefas

Cenário

Está começando o mês e você precisa recarregar seu RioCard para se deslocar até

ao trabalho com base na média de gastos realizados nos meses anteriores.

Tarefa 1

Acesse o site do RioCard e realize o login no sistema.

Tempo estimado: 5 minutos.

Tarefa 2

Modifique o número do apartamento cadastrado no seu perfil para 404.

Tempo estimado: 1 minuto.

Tarefa 3

Verifique as recargas realizadas em meses anteriores.

Tempo estimado: 5 minutos.

Tarefa 4

Realize a recarga de seu cartão com base no valor da última recarga.

Tempo estimado: 5 minutos.

O tempo de realização de cada tarefa foi definido através dos resultados obtidos nos

pré­testes realizados.

2.7 Questionário Pré­Teste

Divimos o questionário em três partes, com o objetivo de saber um pouco mais sobre

o perfil do usuário :

Parte 1 – Seu perfil geral: onde constavam questões sobre o nome do

participante, profissão, idade, gênero e nível de escolaridade.

9

Parte 2 – Sua experiência com a tecnologia e a Internet: duas questões

sobre o nível de experiência do participante com computadores e notebooks.

Parte 3 – Sua relação com o portal RioCard: questões sobre segurança,

navegação e frequência de uso no site RioCard.

2.8 Questionário Pós­teste

O questionário pós­teste foi dividido em duas partes, com o objetivo de colher as

informações ainda frescas sobre a experiência do usuário com a ferramenta, além

do feedback sobre o teste em si.

A primeira parte reúne questões de múltipla escolha, para que o usuário avalie o site

RioCard de acordo com:

A utilização e navegação;

Localização do participante;

O conjunto de termos e expressões utilizadas;

A encontrabilidade das informações.

Já a segunda parte tratou de questões discursivas que apontavam de forma direta, a

opinião do participante sobre o site e sobre o método de pesquisa utilizado

2.9 Pré­testes

Foram realizados dois pré­testes baseados no plano de teste inicial, buscando

verificar o tempo de realização para cada tarefa e a confirmação das tarefas.

O primeiro pré­teste foi realizado no local de trabalho do participante utilizando um

notebook com navegador Chrome, Camtasia e um smartphone para gravação de

10

áudio e vídeo. Já o segundo pré­teste foi realizado na residência do participante

utilizando os mesmos equipamentos.

Após a realização dos pré­testes foram obtidas as seguintes respostas:

Alteração no primeiro parágrafo do Roteiro, para que o mesmo ficasse mais

curto;

Reformulação das tarefas, com o acréscimo de mais uma tarefa;

Confirmação do tempo de realização para cada tarefa;

Reformulação de uma questão do questionário pré­teste.

Para validar as alterações foi realizado mais um pré­teste final.

2.10 Roteiro

O roteiro do teste foi lido no início de todos os pré­testes e testes juntamente com a

entrega do termo de autorização e ciência para os participantes. O texto descrevia

brevemente o site RioCard, o objetivo do teste de usabilidade e quais seriam os

procedimentos realizados pelo usuário.

O material na íntegra pode ser conferido no Apêndice A.

11

3 APRESENTAÇÃO DE DADOS

3.1 Perfil dos usuários

Participante A: Sexo masculino, 16­20 anos, Ensino Superior Incompleto,

pouca experiência com computadores. Não é usuário do site.

Participante B: Sexo masculino, 30­34 anos, Ensino Superior Completo, alta

experiência com computadores. É usuário do site.

Participante C: Sexo feminino, 40­44 anos, Ensino Superior Incompleto,

experiência moderada com computadores. Não é usuária do site.

Participante D: Sexo masculino, 25­29 anos, Ensino Superior Incompleto,

experiência alta com computadores. É usuário do site.

Participante E: Sexo feminino, 25­29 anos, Ensino Superior Incompleto,

experiência moderada com computadores. Não é usuária do site.

3.2 Métrica das tarefas

Tarefa 1: Acesse o site do RioCard e realize o login no sistema.

Tempo em minutos para a execução da Tarefa 1.

12

O tempo estimado para a execução da tarefa foi de 5 minutos. Todos os

participantes conseguiram concluir em menor tempo.

A localização do Login pelos usuários foi rápida. A maior dificuldade encontrada por

eles foi efetivamente realizar o acesso com os dados de usuário. A compreensão do

captcha e a digitação dos dados corretamente pelos participantes tornaram o

processo lento para alguns participantes.

Tarefa 2: Modifique o número do apartamento cadastrado no seu perfil para "404".

Tempo em minutos para a execução da Tarefa 2.

Apenas 2 dos 5 participantes conseguiram concluir a tarefa em menor tempo que o

estimado, que foi de 1 minuto.

Por conter um atalho na página inicial do sistema a alteração dos dados cadastrais

foi ágil e sem dificuldades.

Tarefa 3: Verifique as recargas realizadas em meses anteriores.

Tempo em minutos para a execução da Tarefa 3

13

O participante B foi o único a atingir o tempo estimado de 5 minutos e o participante

D chegou próximo disso.

Tarefa 4: Realize a recarga de seu cartão com base no valor da última recarga.

Tempo em minutos para a execução da Tarefa 4

O participante C teve grande dificuldade na navegação do menu do site e, portanto,

fez o dobro do tempo estimado para a tarefa, que era de 5 minutos.

3.3 Dados do questionário pós teste

A utilização geral do portal RioCard é:

Navegar no Portal RioCard é:

14

A utilização dos menus do portal RioCard é:

Identificar a sua própria localização dentro do portal RioCard é:

O conjunto de termos e expressões utilizados no portal RioCard é:

Encontrar as informações que você precisa no portal RioCard é:

15

3.4 Perguntas discursivas

1) O que você menos gostou no portal RioCard?

Participante A: "No menu existem palavras com significados próximos,

podendo gerar confusão".

Participante B: "Primeiro a dificuldade de realizar uma simples recarga. E

segundo, o login".

Participante C: "As palavras que compõem os menus deveriam ser mais

simples e diretas".

Participante D: "Quando você clica em voltar, para sair da tela atual, o site

não retornou para o menu em que estava, o que gerou um pouco de

confusão".

Participante E: "Achei um pouco confusas as opções de menu".

2) O que você mais gostou no portal RioCard?

Participante A: “A estrutura do site simples e objetiva”.

Participante B: “Nada. Odeio ter que usar este site”.

Participante C: “A facilidade em poder comprar sem enfrentar filas”.

Participante D: “No geral as informações são claras, você vê nos links as

ações que quer executar, então fica bem intuitivo”.

Participante E: “Tinha todas as informações que precisei”.

3) O que você poderia sugerir aos designers para mudar no portal RioCard?

16

Participante A: “Utilização de algum vocabulário mais distinto e o lembrete

de que no login existe diferença entre letra maiúscula e a minúscula”.

Participante B: “Deveria ter menos dependencia da web. Sugiro um

aplicativo para celular com saldo, recargas, histórico, infos das linhas que eu pego,

link para reclamações, número 1746, etc”.

Participante C: “Mais simplicidade, clareza e objetividade nos menus

utilizando palavras conhecidas pelo o usuário”.

Participante D: “Executar uma das tarefas não foi muito fácil, pois neste

ponto o site não foi muito claro, isto poderia ser alterado”.

Participante E: “Mais clareza nas informações”

4) Avalie o próprio método do teste de usabilidade:

Participante A: “Bem eficaz”.

Participante B: “Ótimo”.

Participante C: “O teste é muito interessante e pode ajudar as empresas a

melhorarem sua interfaces, para facilitar a vida do usuário”.

Participante D: “O teste é muito bom, pois avalia e analisa a linha de

pensamento do usuário final que de fato utilizirá o site no dia­a­dia”.

Participante E: “Positivo, bom”.

17

3.5 Comentários em Destaque

Participante A:

"As vezes ele (site) tem algumas palavras que são sutis a diferença de uma para

outra e você acaba entrando no lugar errado."

Participante B:

“As vezes eu prefiro deixar de colocar crédito para não ter que entrar aqui (site

RioCard)... É muito ruim, muito ruim mesmo."

Participante C:

“É uma interface pobre...alguém pode passar despercebido pela informação que

está procurando.”

Participante D:

“Tem que tentar adivinhar o que preencher nos campos, o site não te ajuda nisso.”

Participante E:

“Achei estranho [...], poderia estar mais evidente que era relatório de recargas.”

18

4 ANÁLISE E RECOMENDAÇÕES

4.1 Principais descobertas por tarefa

Tarefa 1 ( Acesse o site do RioCard e realize o login no sistema. ):

Recorte da tela de login do sistema

Os participantes tiveram problemas com o preenchimento da senha, pois não havia

indicador da quantidade de caracteres.

Comentário de um participante sobre a dificuldade em inserir e gravar a sua senha:

"Eu fico tentando logar e nunca consigo. Tenho que deixar a senha anotada porque

é uma senha louca que ele pede e eu nunca vou lembrar...E além disso ele (o

sistema) fica mandando eu trocar toda hora."

19

Tarefa 2 ( Modifique o número do apartamento cadastrado no seu perfil para 404):

Recorte da tela de Pós Login

Para concluir a tarefa era necessário clicar em Alterar em duas etapas para

finalmente chegar ao formulário de edição.

O participante poderia acessar seus dados através da tela inicial (Pós login) quanto

na tela de Usuários, mas se deparava com nomenclaturas diferentes.

Tarefa 3 (Verifique as recargas realizadas em meses anteriores):

Recorte da tela de Relatórios

20

Notamos que o site utiliza pouco o termo Recarga, muito utilizado pelos participantes

e uma das principais funções do sistema. Em seu lugar foi usado o termo "Compra

de créditos" que não era intuitivo para os usuários.

Alguns usuários não conseguiram concluir esta tarefa, pois o histórico de recargas

ficava na área Relatórios, e não em Pedidos ou Compra de créditos.

Durante a busca pela opção de visualizar as recargas anteriores alguns participantes

encontraram algumas dificuldades no sistema, como a falta de clareza no

preenchimento de alguns campos. O comentário "Tô tentando adivinhar como insiro

essa data aqui" exemplifica bem a sensação do usuário ao se deparar com este

problema.

Recorte da tela de Relatórios/ Recargas Pendentes e Efetuadas

Na tela acima, o sistema não oferece informações claras, dicas de preenchimento

dos campos e opções de facilidade de uso, deixando o usuário bastante confuso.

Podemos usar como exemplo o comentário de um dos participantes ao visualizar

esta tela: "Porque já não tem a lista dos meus cartões? Eu tenho que colocar o

ponto?".

Tarefa 4 (Realize a recarga de seu cartão com base no valor da última recarga.):

21

Recorte da Tela de Pedidos/Compra de Créditos de 1 até 05 cartões

O formulário é confuso, a identificação do usuário atribuída pelo sistema (001) não

era clara para o usuário e além disso não entendia bem a diferença de "Valor do

Cartão" para "Valor de Carga".

No final do pedido, ao clicar em Finalizar e imprimir boleto, era necessário buscar

novamente o ícone de impressora em uma relação de pedidos para só assim realizar

a impressão.

Recorte da Tela de Finalizar Pedido e Imprimir boleto

22

Em seguida, ao clicar no ícone de impressora, surgia um lightbox com um aviso que

confundia e deixava os usuários inseguros. Eles não sabiam como sair da tela, ou o

que fazer para visaliizar o boleto, porque não era exibido um botão de fechar.

Recorte LightBox com o aviso.

Além deste problemas encontrados, antes mesmo de acessar o fomulário, um

participante ficou procurando um atalho pra facilitar e agilizar a tarefa e se sentiu

frustado ao não encontrar, como podemos ver no comentário a seguir: "Fiquei

esperando que tivesse um link para visualizar a última recarga realizada no sistema".

4.2 Gráficos de heurísticas violadas

Para avaliação dos problemas relatados pelos participantes do teste utilizamos os 10

Princípios Heurísticos de Nielsen.

23

Tarefa 1:

Como demonstrado no gráfico acima, metade dos princípios violados é quanto à

prevenção de erros. Os participantes dos testes reclamaram da complexidade da

senha e da impossibilidade de saber se está digitando certo ou não.

Tarefa 2:

A quantidade de ocorrência dos princípios violados ficou equilibrada e estão em sua

maioria associadas à falta de acesso rápido às informações mais importantes, além

de opções rápidas para usuários experientes.

24

Tarefa 3:

Os mais variados tipos de princípios foram afetados nessa tarefa. Em resumo, a

maior dificuldade dos usuário foi em encontrar o que procuravam, que era o histórico

de recargas efetuadas.

Tarefa 4:

25

O gráfico demonstra as dificuldades dos usuários em utilizar o sistema para realizar

uma recarga, encontrar essa opção no menu e no preenchimento dos campos de

texto.

Avaliação Geral do Sistema:

4.3 Recomendações de curto prazo

Problema

Durante a realização de algumas tarefas, surge para o usuário um banner popup

com informações fora de contexto e sem nenhuma opção de fechar.

Recomendação

Sugerimos a remoção de todos os banners em popup, mas se este recurso tiver

que ser usado, que seja exibido apenas uma vez, e com um botão de fechar.

4.4 Recomendações de médio prazo

Problema

A linguagem utilizada no sistema em geral é confusa. A nomenclatura dos menus, os

26

termos e as expressões não são claras e dificultam a busca das informações.

Recomendação:

O sistema deve apresentar um vocabulário condizente com a realidade do usuário.

Por exemplo, os usuários estão acostumados com a palavra recarga e o sistema

utiliza a palavra crédito. Sugerimos a realização de um cardsorting para verificar e

validar os termos mais utilizados pelos os usuários, facilitando a compreensão do

sistema.

Exemplo do termo usado pelo sistema para a opção de realizar a recarga do cartão.

Problema

O termo recarga, citado por alguns usuários durante o teste, é pouco usado no

sistema e não existe uma opção de menu para esta função. Para o usuário acessar

esta funcionalidade ele precisa percorrer os sub­itens do menu, o que dificulta o

acesso a este serviço.

Recomendação

O serviço de recarga é uma das principais funcionalidades do sistema, portanto,

deve ser facilmente localizada pelos usuários tanto através do menu quanto na

página inicial.

Problema

O sistema não informa qual cartão está cadastrado no CPF do usuário. Para fazer

uma consulta o usuário precisa saber a numeração do cartão inseri­la manualmente.

27

Recomendação

Exibir para o usuários todos os cartões cadastrados na sua conta, e oferecer opção

para selecionar o cartão que deseja ser consultado.

Exemplo do campo de consulta de cartões.

Problema

No item “Extrato” localizado no menu superior direto, o usuário é direcionado para

uma tela com um passo­a­passo de “Como consultar o seu Extrato”, sem opção de

voltar. Se o usuário voltar pelo navegador ele é deslogado do sistema. Não fica claro

para o usuário a função do menu superior direito, se os links tem a função de ajuda

ou de atalhos.

Recomendação

Uma opção de voltar deve sempre estar presente em todas as páginas. Se objetivo

do menu superior direito for de ajudar o cliente a encontrar uma funcionalidade o

ideal é que seja exibido também um link direto para esta função do sistema. Além

disso, é recomendado uma melhor integração entre os menus do site.

28

Recorte da tela de “Extrato”, acessada pelo menu superior direito.

Problema

A organização do menu e a taxonomia do site não são claras e objetivas. Como por

exemplo, um usuário não identificou no menu nenhum item referente a recarga optou

clicar no menu "Início" para acessar um atalho desta funcionalidade. Além disso, a

área de “Pedidos” do menu não possui o item de histórico de pedidos, presente

apenas em “Relatório”.

Recomendação

Reestruturar o menu do sistema e sua taxonomia, melhorando o agrupamento dos

itens e o rótulos dos mesmos.

Menu principal do sistema.

Problema

O campo “Consulta de pedido” não informa como deve ser preenchido, se deve ser

inserida uma data ou um número de pedido, além de não sinalizar uma máscara

com o formato de preenchimento. Ao usuário preencher o campo com uma data

surge a mensagem "Pedido inexistente", fazendo com que o usuário fique confuso,

não entendendo se o formato da data estava errado ou se não houveram pedidos

realizados nos últimos 90 dias.

29

Recomendação

O usuário precisa saber qual informação o sistema espera. Um “placeholder” no

campo de texto é uma forma de auxílio evitando re­trabalho e frustração por parte do

usuário.

Recorte da tela de “Consultar Pedidos Pagos”, com a mensagem exibida após o preenchimento do

campo com uma data.

Exemplo de um campo de formulário com dica de preenchimento e placeholder.

Problema

Na tela de compra de créditos, após clicar em “Finalizar e imprimir o boleto”. O

boleto não é exibido e não fica claro como acessá­lo.

Recomendação

Melhorar os ícones de forma que seja mais fácil para o usuário identificá­los. Além

disso, sugerimos que ao clicar no botão a compra seja efetivamente finalizada e o

boleto exibido com a opção de imprimir.

30

Problema

Na tela de “Alterar dados cadastrais” o sistema não permite que o usuário edite os

campos antes de clicar no botão "Alterar". O usuário precisa clicar em alterar em

duas etapas, para só então ver o formulário com os campos.

Recomendação

Pode ser fornecida a opção de editar os campos clicando diretamente sobre eles, e

poder salvar as alterações em seguida. Essa funcionalidade permite agilizar o

processo evitando várias etapas.

Problema

O formulário de compra de créditos exibe “001” no campo de “identificação do

usuário”, causando confusão para o usuário.

Recorte da Tela de Compra de Créditos de 1 até 05 cartões.

Recomendação:

A sugestão é que o sistema ofereça informações que seja familiares para usuário,

neste caso o ideal seria usar o próprio nome do usuário, ou seu CPF, ou seu login

ou até mesmo o número de seu cartão.

Problema

Os botões não oferecem feedback visual de mouseover ou mousedown, deixando o

31

usuário sem saber se o sistema computou o clique.

Recomendação

Quando o participante clica em um botão o destaque do mouseover é imperceptível.

Sugerimos, dar um destaque maior para a mudança de estado do sistema, com a

alteração da cor e do tamanho (peso) do botao na tela.

Problema

Alguns usuários sentiram falta de um link ou ação de copiar o valor da última

recarga. Além disso, como forma de atalho, um usuário acessou a opção "Copiar

pedido anterior". No entanto, sem a posse do número do pedido, o usuário precisou

consultar a lista de pedidos feitos e memorizar os dados.

Recomendação:

Sugerimos que sistema exiba inicialmente no campo de “Valor de Carga” o último

valor recarregado pelo usuário, facilitando assim o processo de recarga.

Problema

Os usuários encontram dificuldades com o preenchimento do formulário de login e

senha.

Recomendação: Sugerimos a reformulação de todos os formulários do sistema para

possuam dicas de preenchimento e máscaras nos campos, sinalização de campos

obrigatórios e mensagens de erro e sucesso claras.

32

4.5 Recomendações de longo prazo

Problema

Serviços secundários são exibidos para o usuário logo na primeira tela.

Recomendação

Por se tratar da primeira tela que o usuário visualiza após estar logado é

interessante que sejam exibidas as principais funcionalidades do sistema e os

serviços mais acessados, facilitando assim a encontrabilidade de informações e o

acesso do usuário.

33

5 CONCLUSÃO

O serviço do RioCard se propõe a agilizar a rotina de um passageiro num transporte

público em seu dia­a­dia, porém o sistema de recargas deixa de lado esta agilidade

uma vez que não oferece facilidade de utilização para os seus usuários, devido a

vários problemas de usabilidade tais como os apontados neste trabalho.

Apesar de ser necessária uma avaliação mais extensa sobre o sistema, acreditamos

que para melhorar a usabilidade seria necessário uma reestruturação da arquitetura

de informação do site além de incluir dois itens muito importantes como um sistema

de busca de conteúdo interno e página de ajuda, que não estão presentes no site

atual.

Fora isso, grande parte dos problemas se deram pela dificuldade de compreender a

informação apresentada. A linguagem dos textos e a comunicação devem ser de

fácil entendimento e compatíveis com a realidade dos usuários.

34

6 LIÇÕES APRENDIDAS

Os usuários se mostraram inibidos ao preencher o questionário de pós­teste.

Mesmo os que tiveram dificuldade na utilização da interface informaram no

questionário que acham fácil a utilização e navegação do sistema. O termo de

autorização também causava certa inibição.

O texto do roteiro precisa ser bem direto ao ponto e com linguagem adequada

para que o usuário não se disperse.

Os questionários de pré e pós teste poderiam ter sido preenchidos no próprio

computador ou tablet, ao invés do papel, facilitando a coleta dos dados.

Como algumas entrevistas foram feitas em campo (sem pré­seleção dos

usuários) tivemos que contar com alguns imprevistos como usuário com

pressa, em posição desconfortável e desvio de atenção por uma chamada no

celular.

Checar as gravações após cada teste realizado para se certificar de que o

áudio e vídeo ficaram registrados perfeitamente, ajustando o equipamento

caso algum problema tenha ocorrido.

Podemos perceber uma incoerência entre os resultados do questionário

pós­testes para as perguntas sobre a navegação do site e os termos e

expressões utilizadas. Na primeira, a maioria dos participantes indicou como

fácil e na segunda, como difícil. Acreditamos que isso se deve em parte a

insistência dos usuários em cumprir a tarefa e, concluindo­a em sucesso,

acaba se esquecendo do quão difícil foi. Deve­se questionar e entender a

opinião do usuário nesse ponto, relembrando da sua dificuldade,

aprofundando, assim, os pontos a serem melhorados.

35

Os tempos previstos para a execução das tarefas foram baseados no

resultado dos testes piloto. Estes foram muito importante pra calibrar a

previsão do tempo necessário. No entanto, devido a quantidade reduzida de

testes piloto realizados, a média prevista pra cada tarefa acabou não

refletindo a realidade da maioria dos usuários. Faz­se necessário a realização

de um número razoável de testes piloto pra tentar chegar o mais próximo

possível do tempo dos participantes.

36

APÊNDICE A

ROTEIRO ­ TESTE DE USABILIDADE – SISTEMA RIOCARD

Esse teste de usabilidade tem como objetivo principal verificar como o usuário

consegue desenvolver as tarefas e identificar os possíveis problemas de arquitetura

de informação, encontrabilidade de informações e outras deficiências de usabilidade,

avaliando a interface do sistema de recarga online do vale­transporte eletrônico da

cidade do Rio de Janeiro, o RioCard (www.cartaoriocard.com.br).

E lembre­se somente o sistema será avaliado!!

O teste será composto de três tarefas que deverão ser realizadas no site do

Sistema RioCard, onde solicitaremos que você “pense em voz alta” e explique o

caminho que irá percorrer durante a navegação.

Este teste será gravado em áudio e vídeo através do sistema Camtasia e de

celulares, solicitaremos o preenchimento de dois questionários no início e no final do

teste, além de uma entrevista no final. Porém, essas informações serão

disponibilizados apenas em documentos e eventos acadêmicos com exceção do seu

nome que não serão disponibilizados.

Você tem total liberdade para desistir do teste a qualquer momento e realizar

perguntas ao administrador do teste agora ou a qualquer momento.

Neste teste, temos um moderador que fará as perguntas e um observador que

anotará algumas questões para análise posterior.

Este roteiro será lido para todos os participantes deste teste, para que todos

os participantes sigam as mesmas instruções.

Desde já agradecemos a atenção.

37

APÊNDICE B

TERMO DE AUTORIZAÇÃO ­ TESTE DE USABILIDADE – SISTEMA RIOCARD

CIÊNCIA E AUTORIZAÇÃO

Ref.: Teste de Usabilidade do site RioCard

Objetivo – O objetivo desta pesquisa é levantar dados e informações sobre a

utilização do site RioCard para a tarefa final da disciplina Teste formal de

Usabilidade (Especialização em Ergodesign e Arquitetura da Informação ­ PUC­Rio).

Importante – O procedimento do qual você participará visa somente a testar o uso

da interface do site RioCard e as nomenclaturas utilizadas no mesmo. Lembre­se, o

objetivo é avaliar o site, e não o seu conhecimento. Você não está sendo testado!

Protocolo verbal – Durante o teste, você é solicitado a “pensar em voz alta”,

explicando o caminho percorrido e a sua estratégia de navegação.

Informações coletadas – Vamos coletar e gravar informações sobre o modo como

você utiliza o portal. Nós vamos solicitar o preenchimento de questionários e você

será entrevistado. O teste e a entrevista serão registrados em áudio e em vídeo. As

informações coletadas (suas e de outros participantes) serão utilizadas para a

apresentação da tarefa final da disciplina.

Autorização para gravação – O seu trabalho com o site RioCard e sua entrevista

serão gravados. Assinando este documento, você autoriza o autor a utilizar suas

declarações, sua voz e sua imagem (mas não o seu nome) apenas na tarefa da

disciplina Teste formal de Usabilidade.

Liberdade para desistência – Você pode parar para descansar a qualquer

momento. Também pode desistir do teste no momento que você quiser.

38

Liberdade para perguntar – Se você tiver perguntas a fazer, pode questionar o

administrador do teste agora. Ou fazê­lo a qualquer momento.

Nome (por extenso): ________________________________________

Data: ______/ _______/ _______

Assinatura: ________________________________________________

39

APÊNDICE C

QUESTIONÁRIO PRÉ­TESTE ­ PESQUISA DE USABILIDADE DO PORTAL

RIOCARD

Questionário pré­teste – Pesquisa de usabilidade do portal RioCard

Data: _____/ _____/ Local do teste: _____________________

Parte 1 – Seu perfil geral

Seu Nome: _______________________________________________________

Tel. Celular: ____________________ Tel. Fixo: __________________________

Profissão que exerce: ____________________________________

Gênero: Masc Fem

Idade:

( ) 16­20 ( ) 20­24 ( ) 25­29 ( ) 30­34 ( ) 35­39 ( ) 40­44 ( ) 45­49

( ) 50­54 ( ) 55­59 ( ) 60­64 ( ) 65­69 ( ) 70 ou mais.

Nível de escolaridade:

( ) Ensino fundamental completo

( ) Ensino fundamental incompleto

( ) Ensino médio completo

( ) Ensino médio incompleto

( ) Ensino superior completo

( ) Ensino superior incompleto

40

Parte 2 – Sua experiência com a tecnologia e a Internet

Avalie sua experiência com os computadores em geral:

( ) Nenhuma experiência ( ) Experiência moderadamente alta

( ) Alguma experiência ( ) Experiência alta

( ) Experiência moderada

Avalie sua experiência com notebooks:

( ) Nenhuma experiência

( ) Alguma experiência

( ) Experiência moderada

( ) Experiência moderadamente alta

( ) Experiência alta

Parte 3 – Sua relação com o portal RioCard

Você utiliza o portal RioCard para realizar recargas em seu cartão de transporte?

Sim Não

Em caso positivo, quais outros serviços você utiliza no site RioCard?

__________________________________________________________________

__________________________________________________________________

__________________________________________________________________

Como você considera sua experiência com a navegação no site RioCard?

( ) Nenhuma experiência

( ) Alguma experiência

( ) Experiência moderada

( ) Experiência moderadamente alta

( ) Experiência alta

Você considera o site do RioCard seguro?

( ) Sim

41

( ) Não ( ) Não sei responder

Em uma média anual, com que frequência você utiliza o site RioCard?

( ) Mensalmente

( ) De 2 em 2 meses

( ) De 3 em 3 meses

( ) Semestralmente

( ) Não tenho uma frequência de uso anual

42

APÊNDICE D

QUESTIONÁRIO PÓS­TESTE ­ PESQUISA DE USABILIDADE DO PORTAL

RIOCARD

Questionário pós­teste – Pesquisa de usabilidade do portal RioCard

Data: _____/ _____/ Seu nome: ____________________________________

Este questionário visa a reunir as suas impressões sobre o portal RioCard.

Por favor, marque somente uma alternativa em cada pergunta:

1. A utilização geral do portal RioCard é:

( ) Muito fácil

( ) Fácil

( ) Nem fácil nem difícil

( ) Difícil

( )Muito difícil

2. Navegar no portal RioCard é:

( ) Muito fácil

( ) Fácil

( ) Nem fácil nem difícil

( ) Difícil

( ) Muito difícil

3. Utilizar os menus do portal RioCard é:

( ) Muito fácil

( ) Fácil

43

( ) Nem fácil nem difícil

( ) Difícil

( ) Muito difícil

4. Identificar a sua própria localização dentro do portal RioCard é:

( ) Muito fácil

( ) Fácil

( ) Nem fácil nem difícil

( ) Difícil

( ) Muito difícil

5. O conjunto de termos e expressões utilizado no portal RioCard é:

( ) Muito fácil

( ) Fácil

( ) Nem fácil nem difícil

( ) Difícil

( ) Muito difícil

6. Encontrar as informações que você precisa no portal RioCard é:

( ) Muito fácil

( ) Fácil

( ) Nem fácil nem difícil

( ) Difícil

( ) Muito difícil

7. O que você menos gostou no portal RioCard?

___________________________________________________________

___________________________________________________________

___________________________________________________________

44

___________________________________________________________

8. O que você mais gostou no portal RioCard?

___________________________________________________________

___________________________________________________________

___________________________________________________________

___________________________________________________________

9. O que você poderia sugerir aos designers para mudar no portal RioCard?

___________________________________________________________

___________________________________________________________

___________________________________________________________

___________________________________________________________

Por favor, deixe a pergunta a seguir para responder no final do teste.

10. Avalie o próprio método do teste de usabilidade.

45

___________________________________________________________

___________________________________________________________

___________________________________________________________

__________________________________________________________

46

ANEXO A

ANÁLISE DOS TESTES ­ PARTICIPANTE A

Tarefa 1

Problema: O site não informa qual o tipo de caractere que deve ser preenchido no

campo de senha.

5: Prevenção de erro;

Tarefa 3

Primeira tentativa:

Clicou em voltar após concluir a ultima tarefa > Manutenção

Segunda tentativa:

Pedidos > Consultar pedidos pagos >

O site exibe que não há nenhum pedido cadastrado e o usuário conclui que finalizou

a tarefa.

Tarefa 4

Primeira tentativa:

menu Pedidos > menu Relatórios > Recargas pendentes e efetuadas > Selecionou

Efetuadas > Digitou o número do cartão > Visualizou as recargas

Segunda Tentativa:

entrou no menu Pedidos > Compra de crédito de 1 a 5 cartões > Digitou o valor >

Clicou em avançar > Clicou em confirmar > Clicou em finalizar e imprimir o boleto >

Usuário conclui que finalizou a tarefa.

47

Problema: O usuário ficou confuso em relação ao campo de identificação do usuário

estar exibindo 001.

2: Equivalência entre o sistema e o mundo real; 4: Consistência e padrões;

Comentários pós­teste

"Algumas coisinhas poderiam ficar legais, como aparecer que o "Caps lock" faz

alguma diferença na tela de login e senha."

Problema: O sistema não informa se a tecla Caps lock está pressionada e não tem

opção de exibir a senha que está sendo utilizada.

5: Prevenção de erro; 9: Auxílio ao usuário para reconhecer, diagnosticar e

recuperar­se de erros;

"As vezes ele (site) tem algumas palavras que são sutis a diferença de uma para

outra e você acaba entrando no lugar errado."

Problema: A linguagem utilizada no sistema e geral é confusa, além de itens de

menu pouco claros.

2: Equivalência entre o sistema e o mundo real; 6: Reconhecer em vez de relembrar.

48

ANEXO B

ANÁLISE DOS TESTES ­ PARTICIPANTE B

Questionário Pré­teste

"Tem outra função?" ­ O Usuário não sabia que o site oferecia outros serviços além

do de recarga.

"Nossa, nunca pensei nisso" ­ Reação do usuário ao perguntarmos se ele

considerava o site seguro.

Tarefa 1

"Fudeu!" ­ Reação do usuário ao ser solicitado para realizar o login no sistema.

"Eu fico tentando logar e nunca consigo. Tenho que deixar a senha anotada porque

é uma senha louca que ele pede e eu nunca vou lembrar...E além disso ele (o

sistema) fica mandando eu trocar toda hora. " ­Usuário tem dificuldade de lembrar a

senha devido a regras do sistema.

5: Prevenção de erro;

"Nada a ver esse login aqui embaixo. Eu já sabia porque uma vez eu fiquei

procurando um maior tempão esse tela de login e não achava."

"As regras são horríveis...Pior "coisa" de senha que eu já vi."­ Usuário comentando

sobre o cadastro da senha.

"Esse captcha é muito ruim! Fico torcendo para sair estes número e poder dá para

ler".

Tarefa 2

49

"O site é tão ruim que eu mesmo que se mudasse eu acho que eu não ia querer

mudar o endereço"

"Nossa não tem nada a ver! Por tem um negócio que você não faz nunca no box

principal?"

4: Consistência e padrões;

"Ué eu vou clicar aqui em "Alterar" e não alterei nada?" ­ Usuário ficou surpreso de

não encontrar os campos para fazer a edição dos dados.

Tarefa 3

"Caraca! Nunca fiz isso." ­ Reação do usuário ao ser solicitado para realizar a

tarefa.

Primeira tentativa:

Usuário acesso o menu cartões > consultar cartão > inseriu o número do cartão dele

("Porque já não tem a lista dos meus cartões?" Eu tenho que colocar o ponto?)

5: Prevenção de erro;

"Esse site me dá muita raiva!"

Segunda tentativa:

Clicou no menu "Inicio"

"Porque que ele quer que eu fique atualizando os meus dados? Eu já vi esse banner

de outra vez" ­ Reação do usuário ao visualizar o banner da página inicial.

Clicou no menu 'Comprador"

Terceira tentativa:

"Vou sair clicando em tudo para ver se eu acho alguma coisa parecida com isso"

50

Usuários > Cartões > Pedidos > Relatório>

"Opa é aqui, tem um negócio de extrato aqui! ­ Usuário clicou no menu Extrato no

topo superior direito e acho que ia encontrar o que procurava.

"Será que eu vou ter que logar de novo?" ­ Comentario do usuário ao perceber que

esta em outra área do sistema.

1: Visibilidade do status do sistema;

"Meu deus aquilo é uma ajuda! E não tem nenhuma cara de ajuda isso aqui (menu

superior direito)"

5: Prevenção de erro;

"Nossa! Meu deus do céu..." ­ Usuário inconformado ao ler a orientação da ajuda e

seguir os passos.

Quarta Tentativa:

Usuário clicou no menu "Relatórios"> "Ah aqui! Cliquei sem querer!"

Usuário clicou em "Extrato do comprador" e acreditou que completou a tarefa e

comentou "Aqui ele só mostra os últimos 90 dias….Mas eu gostaria de estar vendo o

meu extrato completo".

Tarefa 4 :

"Eu sempre faço de um jeito, ai como eu vim daquela tela eu já estou perdido"

6: Reconhecer em vez de relembrar;

Clicou em Inicio > Comprar créditos

"Porque não tem comprar créditos aqui (menu)? É o principal tinha que estar."

3: Controle do usuário e liberdade;

51

"Não dá para solicitar segunda­via do cartão pelo site. Eu já tentei e não dá."

"Esse formulário aqui eu não entendo nada!" ­ Tela de inserir o valor do crédito a ser

recarregado.

6: Reconhecer em vez de relembrar;

"Eu não sei o que é esse 001 aqui!.. Não faço ideia do que é isso" ­ Tela de inserir o

valor do crédito a ser recarregado.

3: Controle do usuário e liberdade;

"Eu me enrolo para achar o site porque o nome do cartão é Bilhete Unco Carioca e o

nome so site é cartão RioCard. Qual o nome do "treco" afinal? ...Eu fico um tempão

procurando o site".

Usuário sentiu falta de ser identificado qual tipo de cartão ele possui.

2 ­ Equivalência entre o sistema e o mundo real;

"Porque o número do pedido está em vermelho? Eu não quero saber o número do

pedido, quero saber quanto eu estou recarregando." ­ Tela de confirmação do

pedido.

"Cadê o boleto? Eu esperava aparecer o boleto aqui!" ­ Após clicar em 'finalizar e

imprimir o boleto'.

1: Visibilidade do status do sistema;

"Que isso agora, gente" ­ Banner sobre fraudes no sistema. "Como fecha isso?"

"Achei que o boleto estivesse atrás, ele abriu em outra aba."

6: Reconhecer em vez de relembrar;

52

Comentários pós­testes

"As vezes eu prefiro deixar de colocar crédito para não ter que entrar aqui…. É muito

ruim, muito ruim mesmo."

"Acho que seria ser mais fácil recarregar o cartão e comprar um novo cartão"

Usuário sugeriu que a recarga poderia ser feita por outros meios, banca de jornal,

aplicativo

"O sistema podia ser mais direto ao ponto" "Você fica inseguro de fazer o negócio"

"O login é chato de fazer""O processo é ruim."

"Podiam deixar o site menos confuso no sentido de reabastecer o cartão"

53

ANEXO C

ANÁLISE DOS TESTES ­ PARTICIPANTE C

Tarefa 1

Primeira tentativa:

Clicou em Login (no menu superior do site) >> digitou o usuário e a senha

Segunda tentativa:

Digitou novamente a senha ( o site apresentou a seguinte mensagem “o Login não

confere.”)

Anotação do observador:

Apesar de encontrar dificuldade na inserção da senha com os caracteres especiais,

como por exempol @, a participante informou que o acesso e fácil como os sites

que ela está acostumada a acessar.

Princípio de heurística violado:4 ­ Consistência e padrões; 5 ­ Prevenção de erros; 6

­ reconhecimento ao invés de lembrar.

Tarefa 2

Comentários durante o teste

“Não encontrei o endereço”.

Primeira tentativa:

Clicou em Usuários >> Consultas e alteração>> Manutenção do usuário (clicou no

nome do usuário)

Anotação do observador:

A participante ficou perdida na tela, sem conseguir localizar aonde ela poderia alterar

o cadastro e pediu para repetir a pergunta.

54

Segunda tentativa:

Clicou na aba Início>> Consultas e alteração>>Manutenção do usuário

Anotação do observador:

A participante ficou perdida na tela novamente, sem conseguir localizar aonde ela

poderia alterar o cadastro e pediu para repetir a pergunta novamente.

Terceira tentativa:

Clicou na aba Início>> Alterar dados cadastrais >> clicou em alterar >> alterou o

número do apartamento >> Clicou em confirmar

Princípio de heurística violado: 2: Equivalência entre o sistema e o mundo real.

Tarefa 3

Comentários durante o teste

“Como não tá aparecendo assim a palavra recarga eu vou em cartões”.

“ Eu acho que a palavra Recarga tinha que estar mais explícita na tela, porque essa

palavra não tem aqui, tem pessoas que não vão em Relatórios…”

Primeira tentativa:

Clicou em Cartões

Anotação do observador:

A participante não localizou nenhuma opção para a tarefa.

Segunda Tentativa:

Clicou em Pedidos

Anotação do observador:

A participante não localizou nenhuma opção para a tarefa.

55

Terceira Tentativa:

Clicou em Relatórios >> Clicou em recargas pendentes e efetuadas >> selecionou o

filtro Todas> inseriu o número do cartão >> Concluiu a tarefa

Princípio de heurística violado: 2: Equivalência entre o sistema e o mundo real.

Tarefa 4

Comentários durante o teste

“Comprar créditos, seria comprar Recarga, a palavra está errada?”

“Eu pensei também de outra forma, que poderia ter um link avisando (...) com o

pedido da última recarga..”

Primeira tentativa:

Clicou em Início >> Comprar créditos de 1 a 5 cartões >> Inseriu o valor da recarga

>> Clicou em Avançar >> Concluiu a tarefa

Anotação do observador:

A participante ficou confusa em relação ao campo de identificação do usuário estar

exibindo 001. Ficou procurando um link para realizar a recarga com o último valor de

recarga efetuada.

Princípio de heurística violado: 1 ­ Visibilidade do estado do sistema;2: Equivalência

entre o sistema e o mundo real; 3 ­ Controle e liberdade do usuário; 8 ­ Estética e

design minimalista.

56

ANEXO D

ANÁLISE DOS TESTES ­ PARTICIPANTE D

Tarefa 1

O participante clicou em Login, preencheu os campos sem dificuldade e finalizou a

tarefa.

Comentário: “Bem tranquilo, não tive dificuldades.”

Tarefa 2

O participante localizou o link “Alterar dados cadastrais” na tela inicial, revisou os

dados, clicou em alterar, fez a mudança no campo “Complemento” e finalizou a

tarefa.

Comentário: “Sem problemas, foi bem fácil.”

Tarefa 3

O usuário voltou à tela inicial (após fazer uma rápida verificação no item

“Comprador”, exibido após a alteração dos dados cadastrais), clicou em “Comprar

créditos” e depois “Consultar pedidos pagos”. Teve muita dificuldade no campo de

consulta do pedido anterior, tentando preencher datas em diferentes formatos, mas

na verdade deveria ser inserido ali um número de pedido. Ao ver a mensagem de

“Pedido inexistente”, acreditou que não haviam pedidos anteriores ao período de 90

dias e deu a tarefa como encerrada.

Problema: O campo [Consulta de pedido] não diz se é pra preencher com uma data

ou número de pedido, além de não sinalizar com uma máscara o formato.

Heurística: 5. Prevenção de erros

Comentário: "tô tentando adivinhar como insiro essa data aqui"

Problema: A área de [Pedidos] não possui o item de histórico de pedidos, presente

apenas em [Relatório]

Heurística: 6. Reconhecimento ao invés de lembrança

57

Problema: Ao preencher o campo com uma data, ao invés do número do pedido,

surge a mensagem "Pedido inexistente". O usuário fica confuso, se o formato da

data estava errado ou se não houveram pedidos realizados nos últimos 90 dias.

Heurística: 9. Ajude os usuários a reconhecer, diagnosticar e sanar erros.

Comentário: "agora eu não sei se não existem pedidos anteriores ou se o campo

ainda tá errado"

Tarefa 4

O usuário retornou ao menu inicial, clicou em “Comprar créditos”, “Compra de

créditos de 1 até 05 cartões”, preencheu o valor da carga e finalizou o pedido. Por

fim, conseguiu localizar com facilidade o botão de impressão.

Comentário: “Essa tarefa também foi bem tranquila.”

Comentários pós­teste

"Tem que tentar adivinhar o que preencher nos campos, o site não te ajuda nisso."

58

ANEXO E

ANÁLISE DOS TESTES ­ PARTICIPANTE E

Tarefa 1

O participante não teve nenhuma dificuldade pra realizar o login, seja pra localizar o

link de “login”, seja pra inserir os dados de acesso.

Tarefa 2

O usuário localizou rapidamente o link “Alterar dados cadastrais” na página inicial.

Na tela seguinte, ele tentou fazer a edição do número do apartamento clicando

sobre o texto. Após ver que dessa forma não era possível fazer, clicou no botão

“Alterar”, fez a troca o que foi pedido na tarefa e concluiu.

Problema: O sistema não permite a edição ágil dos campos cadastrados diretamente

na tela.

Heurística: 7. Flexibilidade e eficiência de utilização.

Comentário: "Em alguns sites quando clico no campo normalmente dá pra alterar"

Tarefa 3

Primeiramente o usuário clicou no menu “Cartões” quando procurava o extrato de

compras efetuadas. Em seguida, clicou corretamente no item Relatórios e no link de

extrato. Os passos seguintes foram sem dificuldade.

Problema: O menu não é organizado de forma que seja fácil pro usuário identificar

seus itens.

Heurística: 2.Relacionamento entre a interface do sistema e o mundo real

Comentário: “Poderia estar mais evidente o relatório de recargas”.

Tarefa 4

Como não encontrou nenhum item no menu que tivesse, na sua opinião, uma

relação clara com a compra de recargas, clicou para ir para a página inicial pra

acessar um atalho. Na intenção de poupar trabalho clicou em “Copiar pedido

59

anterior” sendo que não possuía o número do pedido. Tentou repetir a etapa

clicando em “Consultar pedidos pagos”, sendo impedido de prosseguir pelo mesmo

motivo que antes.

O participante conseguiu em seguida localizar a opção correta pra fazer a compra de

créditos e prosseguiu sem dificuldades até o momento de imprimir o boleto. Após

clicar no ícone de impressão é exibido um aviso em vez do boleto. A mensagem não

foi lida, o usuário clicou na imagem e conseguiu visualizar o boleto.

Problemas:

Usuário não identificou no menu algum item referente a compra de recarga;

clicou no link "Início" pra acessar um atalho.

Como forma de atalho, o usuário acessou a opção "Copiar pedido anterior".

No entanto, sem a posse do número do pedido, o usuário precisou consultar a lista

de pedidos feitos e memorizar os dados.

Ao concluir o pedido não é exibido a imagem do boleto do cliente. É

necessário clicar na imagem com instruções para abrir o pdf.

Heurísticas violadas:

2. Correspondência entre o sistema e o mundo real

6. Reconhecimento em vez de recordação

8. Estética e Design minimalista

Comentário: “O menu não é claro e foi difícil achar o botão de compra”.

60

ANEXO F

IMAGENS DO SISTEMA

Tela inicial

61

Tarefa 1 ­ Login

62

Tarefa 1 ­ Tela de início

63

Tarefa 2 ­ Passo 1

64

Tarefa 2 ­ Passo 2

65

Tarefa 2 ­ Conclusão

66

Tarefa 3 ­ Passo 1

67

Tarefa 3 ­ Passo 2

68

Tarefa 3 ­ Conclusão

69

Tarefa 4 ­ Passo 1

70

Tarefa 4 ­ Passo 2

71

Tarefa 4 ­ Passo 3

72

Tarefa 4 ­ Passo 4

73

Tarefa 4 ­ Conclusão

74

Tarefa 4 ­ Impressão do boleto (banner sem botão fechar)