FACULDADE FARIAS BRITO - ffb.edu.br · A primeira Lei de Usabilidade de Krug[12](Krug,2006)...

61
FACULDADE FARIAS BRITO CIÊNCIA DA COMPUTAÇÃO Francisco Geraldo Vasconcelos de Andrade Análise da Satisfação de Usuários com a Usabilidade dos Sites de Relacionamento ORKUT e FACEBOOK Fortaleza, 2011

Transcript of FACULDADE FARIAS BRITO - ffb.edu.br · A primeira Lei de Usabilidade de Krug[12](Krug,2006)...

FACULDADE FARIAS BRITO CIÊNCIA DA COMPUTAÇÃO

Francisco Geraldo Vasconcelos de Andrade

Análise da Satisfação de Usuários com a Usabilidade dos Sites de

Relacionamento ORKUT e FACEBOOK

Fortaleza, 2011

Francisco Geraldo Vasconcelos de Andrade

Análise da Satisfação de Usuários com a Usabilidade dos Sites de

Relacionamento ORKUT e FACEBOOK

Monografia apresentada para obtenção dos créditos da disciplina

Trabalho de Conclusão do Curso II da Faculdade Farias Brito,

como parte das exigências para graduação no Curso de Ciência

da Computação.

Orientador: Mateus Mosca Viana, Dsc.

Fortaleza, 2011

Análise da Satisfação de Usuários com a Usabilidade dos Sites de

Relacionamento ORKUT e FACEBOOK

Francisco Geraldo Vasconcelos de Andrade

PARECER___________________

NOTA:FINAL (0 - 10): ________

Data: ____/ ____/ ________

BANCA EXAMINARADORA:

__________________________

Nome e Titulação

(Orientador)

__________________________

Nome e Titulação

(Examinador)

__________________________

Nome e Titulação

(Examinador)

RESUMO

Os sites de relacionamento têm se multiplicado de forma contagiante na WEB e muitas

informações são reunidas e precisam estar distribuídas de modo intuitivo na interface do sistema

para possibilitar a interação satisfatória do usuário com o computador. A busca por essa

satisfação do usuário é de extrema relevância e se caracteriza um desafio para desenvolvedores

de sistemas devido a diversidade dos usuários se utilizam deste tipo de aplicação de computador.

Este trabalho visa relatar sobre técnicas que são utilizadas para medir essa satisfação e realizar

uma pesquisa de satisfação entre os usuários do Orkut e Facebook. Com os resultados obtidos

pode-se perceber que a preferência dos usuários está muito relacionada as suas necessidades no

momento, muitos que já foram usuários do Orkut o trocaram pelo Facebook envolvidos pela onde

de migração divulgada ardentemente na internet. Outros ainda permanecem utilizando-se dos

dois sistemas ou ainda por motivos variados como: vínculos com amigos, jogos online resistem

em migrar do Orkut para o Facebook. Concluímos que a satisfação do usuário apesar de estar

relacionada diretamente a usabilidade do sistema é fortemente influenciada por fatores externos,

que devem ser considerados no desenvolvimento dos sistemas através do uso dos conceitos do

design de interação.

Palavras chave: Usabilidade, Sites de Relacionamento, Satisfação.

AGRADECIMENTOS

A Deus por ter me iluminado e ter me auxiliado durante o desenvolvimento deste trabalho.

Aos meu pais pelo apoio e pela oportunidade que me concederam de estudar e realizar o sonho de

possuir uma profissão.

Ao meu professor orientador Dr. Mateus Viana pelo apoio e por ter me concedido a

oportunidade de mudar de tema e construir um trabalho mais voltado ao meu interesse

profissional.

Aos meu colegas que ao longo do curso viveram junto comigo experiências inesquecíveis e

construtivas que contribuiram para a formação da minha base de conhecimento e caráter

profissional.

SUMÁRIO

1. INTRODUÇÃO ................................................................................................................................ 9 1.1 Motivação/Justificativa ................................................................................................... 10 1.2 Objetivos ......................................................................................................................... 11

1.3 Objetivos Específicos...................................................................................................... 11 2. DESENVOLVIMENTO DE SISTEMAS CENTRADO NO USUÁRIO .................................................. 12

2.1 Ergonomia ....................................................................................................................... 12 2.2 Usabilidade em Interfaces de Sistema ............................................................................ 13 2.3 Interação Humano Computador ...................................................................................... 16

2.4 Design de Interação......................................................................................................... 18 2.5 Métodos de Avaliação de Interface ................................................................................. 19

2.5.1 Avaliação Heurística ................................................................................................ 21

2.5.2 Revisão de Guidelines ............................................................................................. 23 2.5.3 Inspeção de Consistência ......................................................................................... 23 2.5.4 Percurso Cognitivo .................................................................................................. 23 2.5.5 Teste de Usabilidade ................................................................................................ 25

2.5.6 Distribuição Qui-Quadrado ..................................................................................... 31 3. ESTUDO DE CASO .................................................................................................................. 32

3.1 Teste de Usabilidade e Percurso Cognitivo .................................................................... 33 4. ANÁLISE DOS RESULTADOS .................................................................................................. 40

4.1 Caracterização do Público Alvo...................................................................................... 40

4.2 Satisfação com a Usabilidade do Sistema ....................................................................... 44 5. CONCLUSÃO........................................................................................................................... 58

5.1 Sugestões de Trabalhos Futuros...................................................................................... 59 6. REFERÊNCIAS ........................................................................................................................ 60

LISTA DE FIGURAS

Figura 1 – Relação Design X Usuário ........................................................................................... 16 Figura 2 – Conjunto de fatores que se relacionam com a IHC. ..................................................... 18 Figura 3 – Adaptação do Modelo Estrela para Avaliação ............................................................. 20

Figura 5 – Eye-Tracking ................................................................................................................ 27 Figura 6 – Cartões de Adjetivos .................................................................................................... 28 Figura 7 – Pesquisas que parecem jogos ....................................................................................... 29 Figura 8 – Benchmark com Usuários ............................................................................................ 30 Figura 9 – Faixa Etária Estudada ................................................................................................... 40

Figura 10 – Grau de Instrução do público estudado ...................................................................... 42 Figura 11– Período de Experiência com Computadores ............................................................... 43

Figura 14 – Percentual de Utilização por Preferências .................................................................. 47

Figura 15 – Percentual de dificuldades na execução das tarefas pré-definidas ............................. 49 Figura 16 – Satisfação quanto a organização de conteúdo nas interfaces ..................................... 51 Figura 17 – Percentual de Dificuldades na Navegação Livre ....................................................... 51 Figura 18 – Percentual de Escolhas de Atrativos por Site ............................................................. 54

Figura 19 – Percentual de Escolhas em Relação a Aparência dos Sites ........................................ 54 Figura 20 – Percentual de Satisfação dos Usuários por Site ......................................................... 57

LISTA DE QUADROS E TABELAS

Quadro 1 – Síntese dos conceitos da NORMA ISO 9241-11........................................................ 14 Quadro 2 – As Heurísticas de Nielsen ........................................................................................... 22

Quadro 3 – Adaptação do Modelo Estrela para Avaliação ........................................................... 24 Tabela 1 – Valores observados absolutos do propósito de utilização. .......................................... 44 Tabela 2 – Valores esperados absolutos do propósito de utilização. ............................................. 45

Tabela 3 – Valores para o cálculo do QUI-QUADRADO do propósito de utilização. ..................... 46

Tabela 4 – Valores absolutos observados para a qualidade de organização do conteúdo. ............ 49 Tabela 5– Valores absolutos esperados para a qualidade de organização do conteúdo. ............... 49

Tabela 6 – Valores do QUI-QUADRADO para a qualidade de organização do conteúdo. .............. 50

Tabela 7 – Valores absolutos obtidos para a escolha de pontos atrativos dos sites. ..................... 52 Tabela 8 – Valores absolutos esperados para a escolha de pontos atrativos dos sites. ................. 53

Tabela 9 – Valores do QUI-QUADRADO para escolha de pontos atrativos dos sites. .................... 53

Tabela 10 – Valores absolutos obtidos dos questionários para a satisfação dos usuários. ........... 55

Tabela 11 – Valores absolutos esperados para a satisfação dos usuários. ..................................... 55

Tabela 12 – Valores do QUI-QUADRADO para a satisfação dos usuários. .................................... 55

1. INTRODUÇÃO

Os sites de relacionamento tem se multiplicado na Web e os seus usuários apresentam

diversos tipos de interesse, tais como: conhecer pessoas, buscar e compartilhar informações sobre

determinado assunto, divulgar fatos de sua vida pessoal ou profissional, publicar fotos e utilizar

jogos online. Muitas informações são reunidas em um site de relacionamento e essas informações

precisam estar distribuídas de modo intuitivo na interface do sistema para possibilitar a interação

satisfatória do usuário com o computador.

A primeira Lei de Usabilidade de Krug[12](Krug,2006) conhecida como não me faça

pensar, trata sobre a relevância da usabilidade nos sistemas e segundo o autor, nada importante

deve estar a mais de dois cliques de distância do usuário. Ressalta também que a navegação nas

páginas deve ser intuitiva, isto é, elimina a necessidade do usuário de pensar enquanto navega.

De acordo com o autor, se o usuário não se concentrar em como utilizar o sistema durante a

navegação o foco ficará no conteúdo que o sistema se propõe a passar para o usuário e não em

como se chegar a esse conteúdo.

Essa necessidade direcionada a um público muito variado aumenta a responsabilidade

dos desenvolvedores de sistemas que passam a ter que observar não somente o atendimento da

funcionalidade do sistema, mas também o grau de interação que ele possibilita ao usuário. A

satisfação do usuário é fator essencial para a disseminação do uso e o sucesso do sistema é

medida através métodos de avaliação de interfaces tradicionais e pesquisas de satisfação.

Com o intuito de se produzir sistemas com interfaces intuitivas, são utilizados métodos e

técnicas para testar e avaliar interfaces durante e após o processo de produção do software.

Baranauskas& Rocha[0](BARANAUSKAS & ROCHA, 2003) afirmam que: “se faz avaliação

para conhecer o que os usuários querem e os problemas que eles experimentam”. Para a autora, a

10

avaliação possui três grandes objetivos: avaliar a funcionalidade do sistema, avaliar o efeito da

interface junto ao usuário e identificar problemas específicos do sistema.

O trabalho se propôs a realizar um levantamento bibliográfico com objetivo de conhecer

os principais métodos de avaliação para contribuir como referencial teórico para pesquisas na

área. Almejou também entender melhor o conceito de desenvolvimento centrado no usuário

presente na área de Ergonomia e entender sua evolução até a busca pela satisfação do usuário do

sistema dentro do campo laboral dos sites de relacionamento Orkut e Facebook.

1.1 Motivação/Justificativa

A escolha do tema se justifica pelo fato de se acreditar que a satisfação do usuário é

relevante e se caracteriza um desafio para desenvolvedores de sistemas do tipo sites de

relacionamento, pois usuários com experiências diferentes com sistemas de computador, com

grau de instrução variado e com diversos objetivos, se utilizam desses sites.

Pessoas buscam interagir com outras em redes sociais na web por motivos e

necessidades variadas, o que contribui para que hoje, cada vez mais se agreguem serviços com o

objetivo de manter o usuário nas redes. Jogos online, possibilidades de divulgação de idéias,

armazenamento de fotos e buscas mais aprimoradas são algumas das estratégias que os projetistas

de sites de relacionamento têm utilizado na tentativa de vencer a concorrência.

É importante ressaltar que o acúmulo de serviços nas interfaces das redes sociais tem

deixado a navegabilidade cada vez mais complexa e com mais risco de erro. É relevante o

constante estudo da Interação Humano-Computador em paralelo à evolução desses sites,

possibilitando que o usuário venha a usufruir de forma satisfatória dos novos serviços que estão

sendo inseridos.

A Interação Humano Computador pode ser definida como um disciplina responsável

pelo design, avaliação e implementação de sistemas interativos. Das três escolheu-se para

11

trabalhar nesse projeto a avaliação por ser a possível de aplicar em sistemas já construídos.

(BARANAUSKAS & ROCHA, 2003)

Como objeto de estudo deste trabalho definiram-se dois principais sites de

relacionamento para observação, a saber: Facebook, que tem crescido de forma relevante a partir

do ano de 2008 sendo hoje um dos mais representativos nesse setor e Orkut, que possui um

grande público de brasileiros como usuários e mais tempo de mercado tendo sido popularizado

cerca de 3 anos antes do Facebook.

1.2 Objetivos

O objetivo do projeto é proceder a uma análise da interação de usuários com os sistemas

de sites sociais, bem como estabelecer o grau de satisfação desses usuários, visando colaborar

para a melhoria de tais sistemas.

1.3 Objetivos Específicos

Realizar levantamento bibliográfico sobre desenvolvimento centrado no usuário;

Descrever técnicas de avaliação de interface de sistemas que sirvam de base para futuras

pesquisas;

Elaborar modelo de pesquisa que reflita sobre a satisfação dos usuários com relação aos

sistemas estudados e sua usabilidade;

12

2. DESENVOLVIMENTO DE SISTEMAS CENTRADO NO USUÁRIO

Este capítulo apresenta conceitos e técnicas de desenvolvimento de sistemas centrado

nos usuários que buscam entender a experiência e pretendem ao final alcançar a satisfação do

usuário com o sistema. Na seção 2.1 tratamos a Ergonomia e sua relação com interfaces de

sistemas. A seção 2.2 contém o conceito de usabilidade e sua relevância para interfaces de

sistemas. Na seção 2.3 discutimos sobre a Interação Humano-Computador e discutimos sobre os

fatores que a influenciam. Na seção 2.4 apresentamos a disciplina Design de Interação

discutindo brevemente sobre seu conceito e sua preocupação com as experiências dos usuários.

Os métodos de Avaliação de Interfaces, instrumentos comumente utilizados na busca da

satisfação do usuário com o sistema, são tratados na seção 2.5. Na última seção a 2.6 é

apresentada a distribuição estatística qui-quadrado que foi utilizada na análise.

2.1 Ergonomia

Segundo Cabral[3] (2006) “O princípio da ergonomia é estudar o conforto e a adaptação

aos objetos e interfaces visando aumentar a produtividade e a satisfação das pessoas”. Para o

autor ela está baseada em alguns princípios como:

Esforço mínimo do usuário;

Memória mínima do usuário;

Frustração mínima;

Maximizar o uso de padrões e hábitos;

Máxima tolerância para diferenças humanas;

Máxima tolerância para mudanças ambientais (interoperabilidade);

13

Notificação imediata de problemas;

Controle máximo de tarefas pelo usuário;

Apoio máximo às tarefas.

Todos esses princípios estão diretamente ligados a interfaces de sistemas e devem ser

observados no desenvolvimento de sistemas centrados nos usuários.

2.2 Usabilidade em Interfaces de Sistema

Segundo Orth[15] (ORTH,2005) “ a grande maioria dos usuários de computadores hoje

não está interessada no computador em si, mas na obtenção de informações”. Devido a essa

necessidade surge cada vez mais a busca pelo desenvolvimento de softwares mais amigáveis,

intuitivos e que se adaptem ao usuário de acordo com seu perfil e necessidades.

Para definirmos o conceito de usabilidade em interfaces faz-se necessário entender o que

é uma interface de sistema. De acordo com Baranauskas(BARANAUSKAS & ROCHA, 2003),

interface é definida como um lugar onde ocorre o contato entre duas entidades. Fonseca[8]

(FONSECA,2004) define interface como uma “superfície de contato que reflete as propriedades

físicas das partes que interagem, as funções a serem executadas e o balanço entre o poder e o

controle”. Nielsen[13] (NIELSEN,1993) define interface como “responsável pela interação do

usuário com o computador a qual deve primar pela qualidade da comunicação entre ambos”.

Nielsen defende que:

Atualmente as interfaces com o usuário são componentes muito mais importantes

em um sistema computacional. A revolução nos computadores e a queda nos

preços estão tornando os sistemas disponíveis para grupos maiores de usuários

que estão usando computadores para uma variedade maior de tarefas. Quando

eles eram usados por um pequeno número de pessoas que realizavam tarefas

bastante especializadas, tinha sentido esperar altos níveis de conhecimento e

competência dos usuários. Hoje, os vídeo games e outros softwares pessoais

mostraram aos usuários que eles podem esperar algo bem mais agradável e

intuitivo das interfaces, tornando-os bem mais críticos em relação a produtos de

operação complicada. (NIELSEN,1993)

Gomes[10](2009) defende que a usabilidade está ligada diretamente à aceitação do

sistema por parte dos usuários. Nielsen (1993) afirma ainda que “A aceitabilidade global de um

14

sistema está dividida entre aceitabilidade social e aceitabilidade prática”, sendo que a social se

caracteriza pela aceitação, por parte dos usuários, da necessidade e da relevância do papel social

proposto por um determinado sistema. A aceitação prática, se subdivide em critérios como: custo,

confiança, segurança, compatibilidade, flexibilidade, dentre os quais encontra-se a qualidade de

uso.

De acordo com a NORMA[11] ISO 9241-11, de 1998, usabilidade é “a capacidade de

um produto ser usado por usuários específicos para atingir objetivos específicos com eficácia,

eficiência e satisfação em um contexto específico de uso”. Essa definição deixa clara a

necessidade da eficiência do uso e não somente a possibilidade do uso.

Fonseca[8](2004) sintetiza os conceito da NORMA ISO 9241-11 conforme vemos no

quadro abaixo:

Quadro 1 – Síntese dos conceitos da NORMA ISO 9241-11

CONCEITOS DA ISO 9241-11 (1998)

Usuário – pessoa que interage com o produto.

Contexto de uso – usuários, tarefas, equipamentos (hardware, software e materiais), ambiente físico e

social em que o produto é usado.

Eficácia – precisão e completeza com que os usuários atingem objetivos específicos, acessando a

informação correta ou gerando os resultados esperados. A precisão é uma característica associada à

correspondência entre a qualidade do resultado e o critério especificado, enquanto a completeza é a

proporção da quantidade-alvo que foi atingida.

Eficiência – precisão e completeza com que os usuários atingem seus objetivos, em relação à quantidade

de recursos gastos.

Satisfação – conforto e aceitabilidade do produto, medidos por meio de métodos subjetivos e/ou

objetivos. As medidas objetivas de satisfação podem se basear na observação do comportamento do

usuário (postura e movimento corporal) ou no monitoramento de suas respostas fisiológicas. As medidas

subjetivas, por sua vez, são produzidas pela quantificação das reações, atitudes e opiniões expressas

subjetivamente pelos usuários.

Fonte:Fonseca(2004)

15

Fonseca(2004) afirma ainda que:

O conceito de usabilidade é proveniente da disciplina de estudo da Interação

Humano-Computador (IHC). Seu papel é avaliar e sugerir formas ideais de

interação usuário-computador para que um sistema atinja os objetivos para os

quais fora projetado. Sua preocupação é facilitar a vida dos usuários na percepção

e utilização dos recursos disponíveis pelos sistemas.

Segundo Ferreira[9](2002), a qualidade da usabilidade está associada com os seguintes

princípios:

facilidade de aprendizado;

facilidade de memorização de tarefas no caso de uso intermitente;

produtividade dos usuários na execução de tarefas;

prevenção, visando a redução de erros por parte do usuário;

satisfação subjetiva do usuário.

“A usabilidade é relacionada à eficácia e eficiência da interface diante do usuário e pela

reação do usuário diante da interface”. Ferreira(2002)

Baseando-se nos autores citados percebe-se que a usabilidade tem o foco no usuário e

sua percepção de uso do sistema. Preocupa-se com facilidade de uso objetivando uma maior

compreensão da informação que o usuário deseja obter através do sistema. A figura 1 ilustra a

relação design (projetista) versus usuário para que seja possível a interação do usuário com o

sistema.

16

Figura 1 – Relação Design X Usuário

Fonte: Douglas(2009)

Na figura 1 pode-se observar que o processo de interação entre o projetista e o usuário

deve ocorrer processo de produção do software, isto é, o design(projetista) deve desenvolver a

solução pensando no usuário. Se possível o usuário deve estar presente a validação através de

testes objetivando uma melhor qualidade dos resultados.

Em síntese a interface é o meio por onde o usuário se comunica com o sistema e ela

deve possuir características compatíveis com a experiência do usuário, além de deixar evidentes

os objetivos do sistema e possuir clareza nas informações visualizadas. É essencial também que

nada importante esteja a muitos cliques de distancia do usuário.

2.3 Interação Humano Computador

Netto[14](2004) afirma que, ao final da década de 60, foram trazidos para os ambientes

de trabalho novos computadores com sistemas que possuíam interfaces e menus. A partir desse

período, a maneira a qual as pessoas usam e processam a informação tornou-se relevante para o

projeto de sistemas.

Gomes(2009), ressalta que “... melhorar apenas as interfaces dos sistemas não irá

torná-los amplamente mais adaptados ao uso por humanos. Outros aspectos também devem ser

17

considerados para tornar o uso de sistemas realmente enriquecedor do trabalho e da realização

das tarefas dos indivíduos”.

Gomes(2009) apud BARANAUSKAS & ROCHA afirma ainda que:

Segundo (BARANAUSKAS & ROCHA, 2003), com os avanços tecnológicos,

tornou-se claro que outros aspectos ligados ao usuário e ao uso dos computadores

fossem incluídos: treinamentos; práticas de trabalhos; estrutura administrativa e

organizacional; relações sociais; e saúde, dentre outros. Acrescenta-se a estes

fatores o local onde o sistema vai ser utilizado, por exemplo: no quarto, na sala,

no escritório, na rua; a infra-estrutura de apoio, tais como: mesa, cadeira,

iluminação; o envolvimento ou não de várias pessoas na utilização do sistema; e

todos os demais fatores importantes para o sucesso ou fracasso no uso dos

sistemas. O conjunto destes fatores contempla o contexto de uso do sistema.

Embasam-se nos autores citados, pode-se perceber que os aspectos socioambientais bem

como a percepção cognitiva, a experiência do usuário em relação ao computador, ao negócio e ao

sistema devem ser levados em consideração na elaboração do modelo de interação do sistema. A

área responsável pelos estudos desses fatores e sua relação com o design de interface de

aplicações de software chama-se de Interação Homem Computador (IHC). A figura 2 ressalta

esse conjunto de fatores e sua relação com a IHC.

18

Figura 2 – Conjunto de fatores que se relacionam com a IHC.

Fonte: Preece (2005).

Segundo BARANAUSKAS & ROCHA (2003), “a IHC é responsável pelo design,

avaliação e implementação de sistemas computacionais interativos para uso humano e com o

estudo dos principais fenômenos ao redor deles”.

2.4 Design de Interação

Design de interação é o “desing de produtos interativos que fornecem suporte às

atividades cotidianas das pessoas, sejam no lar ou no trabalho”. Significa basicamente criar

experiências que melhorem a forma de trabalho, comunicação e interação entre as pessoas e o

sistema (PREECE, 2005)[16].

Segundo (PREECE, 2005) para o objetivo do design de interação ser alcançado faz-se

necessário a interdisciplinaridade. Disciplinas como a psicologia, a sociologia estão relacionados

diretamente com o processo de definição do design

Engenharia

Design

Psicologia Organizacional e

Social

Ergonomia e Fatores

Humanos

IHC

Psicologia Congnitiva

Ciência da Computação

Inteligência Artificial

Linguística

Antropologia Sociologia

Filosofia

19

BARANAUSKAS & ROCHA (2003) afirma que a disciplina design de interação pode

ser comparada a engenharia civil onde se utiliza de conhecimentos e materiais em prol das

pessoas. A união do Design de Interação com a Engenharia de Software forma um processo de

desenvolvimento de software voltado para o usuário.

O Design de Interação preocupa-se com a experiência do usuário, com o meio em que

ele está inserido e com os fatores que podem direta ou indiretamente contribuir para facilitar ou

prejudicar o entendimento de uso do usuário com o sistema.

2.5 Métodos de Avaliação de Interface

Existem vários métodos e técnicas para avaliação de interfaces de sistemas, neste projeto

trataremos três abordagens bem diferenciadas que são: Avaliação Heurística, Percurso Cognitvo e

Teste de Usabilidade.

A avaliação de interfaces não deve ser encarada como algo complementar, deixado para

o final do projeto e realizado se sobrar tempo. Esta deve ser executada de diferentes formas

durante o processo desenvolvimento do projeto de design. A figura 3 representa uma adaptação

do modelo estrela de HIX e HARTSON (1993) apud BARANAUSKAS & ROCHA (2003) para

o contexto da avaliação de interfaces. Nela fica claro que a avaliação deve ocorrer durante todo o

processo, porém com menos intensidade em algumas etapas.

20

Figura 3 – Adaptação do Modelo Estrela para Avaliação

Fonte: BARANAUSKAS & ROCHA (2003)

De acordo com a autora, diferentes tipos de validações devem ocorrer para casa fase do

design da interface. Para estágios onde as idéias estão sendo ainda validadas e exploradas, testes

informais são suficientes. A avaliação possui três principais objetivos: avaliar a funcionalidade

do sistema, avaliar o efeito da interface junto ao usuário e identificar problemas específicos do

sistema (BARANAUSKAS & ROCHA, 2003).

Preece (PREECE,2005) define avaliação como “ ...processo sistemático de coleta de

dados responsável por nos informar o modo como determinado usuário ou grupo de usuários

devem utilizar um produto para uma determinada tarefa em um certo tipo de ambiente”. O Autor

defende que é necessário avaliar devido:

“ A experiência do usuário abrange todos os aspectos da interação do usuário

final...O primeiro requisito para uma experiência exemplar do usuário consiste

em encontrar as necessidades exatas do cliente, sem ansiedade ou incomodação.

Implementação

Prototipação AVALIAÇÃO

Design Conceitual

Design Formal

Especificação de Requisitos

Análise da Tarefa

Análise Funcional

21

A seguir, vêm a simplicidade e a elegância , que produzem produtos bons de se

utilizar”.

De acordo com o autor podemos perceber que ele quer nos mostrar a relevância de

avaliar para descobrir as necessidades do usuário como um processo natural de desenvolvimento

e não de validação após o recebimento do produto quando o processo seria bem mais conturbado.

2.5.1 Avaliação Heurística

Segundo DIX[4] (2004) “ A avaliação de projeto de interfaces tem por objetivo

identificar, classificar e contar o número de problemas de usabilidade de um sistema

computacional” . FARIAS[6] et al.(2009) afirma que “esta atividade tem por objetivo fazer

recomendações a partir do resultado da avaliação de modo a melhorar a usabilidade do sistema”.

Com objetivo de entendimento da relevância das heurísticas, faz-se necessário conhecer

o conceito heurístico que é definido por FARIAS como “uma diretriz ou uma regra que pode

guiar uma decisão do projeto ou criticar uma decisão já tomada”, ou seja, uma regra

preestabelecida que pode guiar ou anular uma decisão (FARIAS et al. 2009).

De acordo com BARANAUSKAS & ROCHA (2003) um dos principais métodos de

inspeção Avaliação Heurística é realizada uma inspeção na interface tendo como base um

conjunto de heurísticas. As mais conhecidas são as 10 heurísticas de Nielsen (1993) que podemos

observar listadas no quadro 2.

22

Quadro 2 – As Heurísticas de Nielsen

Heurísitica Detalhes

Feedback

O sistema deve informar continuamente ao usuário sobre o

que ele está fazendo.

10 segundos é o limite para manter a atenção do usuário focalizada no diálogo.

Falar a linguagem do usuário

A terminologia deve ser baseada na linguagem do usuário e

não orientada ao sistema. As informações devem ser

organizadas conforme o modelo mental do usuário.

Saídas claramente demarcadas

O usuário controla o sistema, ele pode, a qualquer momento,

abortar uma tarefa, ou desfazer uma operação e retornar ao

estado anterior.

Consistência

Um mesmo comando ou ação deve ter sempre o mesmo

efeito. A mesma operação deve ser apresentada na mesma

localização e deve ser formatada/apresentada da mesma maneira para facilitar o reconhecimento.

Prevenir erros

Evitar situações de erro.

Conhecer as situações que mais provocam erros e modificar a interface para que estes erros não ocorram.

Minimizar a sobrecarga de memória do

usuário

O sistema deve mostrar os elementos de diálogo e permitir

que o usuário faça suas escolhas, sem a necessidade de lembrar um comando específico.

Atalhos

Para usuários experientes executarem as operações mais

rapidamente. Abreviações, teclas de função, duplo clique no

mouse, função de volta em sistemas hipertexto. Atalhos

também servem para recuperar informações que estão numa

profundidade na árvore navegacional a partir da interface principal.

Diálogos Simples e Naturais Deve-se apresentar exatamente a informação que o usuário

precisa no momento, nem mais nem menos.

A sequência da interação e o acesso aos objetos e operações

devem ser compatíveis com o modo pelo qual o usuário realiza suas tarefas.

Boas mensagens de erro

Linguagem clara e sem códigos. Devem ajudar o usuário a

entender e resolver o problema. Não devem culpar ou

intimidar o usuário.

Ajuda e Documentação Ideal é que um software seja tão fácil de usar (intuitivo) que

não necessite de ajuda ou documentação. Se for necessária a ajuda deve estar facilmente acessível on-line.

Fonte: Nielsen (1993)

23

Essas heurísticas servem são utilizadas na avaliação através da aplicação de um checklist

que visa observar se as heurísticas estão sendo respeitadas no desenvolvimento do sistema. São

muito aplicadas a softwares que possuem interface de interação com o usuário.

As heurísticas podem ser definidas de acordo com o tipo de sistema desde que se

comprove a sua veracidade para efeito da usabilidade do sistema. Para efeito de estudo, neste

projeto, iremos utilizar as heurísticas de Nielsen para aplicação através de inspeção nas interfaces

principais do ORKUT e FACEBOOK.

2.5.2 Revisão de Guidelines

É importante ressaltar que a inspeção é aplicada na interface do sistema e é realizada

durante a sua concepção e avaliação de sua usabilidade. Existem outras técnicas de inspeção que

são bem menos utilizadas que a avaliação heurística, que é Revisão de Guidelines na qual a

interface é analisada de forma a se verificar se está de acordo com uma lista de guidelines de

usabilidade. Em geral é pouco utilizada, pois essa lista contém um excessivo número de

guidelines cerca de 1.000 por lista e exige muita experiência do avaliador. GOMES (2009).

2.5.3 Inspeção de Consistência

O avaliador verifica a consistência dentro de uma família de interfaces, quanto as cores,

formatos de entrada e saída e tudo mais que estiver contido da interface. Nesta técnica se observa

também os materiais de ajuda para utilização do sistema. (BARANAUSKAS & ROCHA, 2003) e

GOMES (2009).

2.5.4 Percurso Cognitivo

Percurso cognitivo é definido como um método de inspeção de usabilidade que tem como

foco avaliar o design quanto a sua facilidade de aprendizagem, geralmente através da exploração.

24

É comprovado por FISHER[7] (1991) que usuários preferem aprender a utilizar sistemas por

exploração ao invés de leitura dos materiais de apoio ou treinamento.

O método é definido em duas fases: a Preparatória, onde os analistas definem tarefas,

sequência de ações para cada tarefa, população de usuários e escopo da avaliação e a fase de

Análise, etapa onde são simuladas estórias e formas de uso do sistema para se atingir o objetivo.

Uma descrição das fases mais aprofundada é apresentada no Quadro 3.

A técnica é aplicada pelo próprio avaliador com objetivo de preparar perguntas sobre os

possíveis usuários do sistema na busca de identificar o perfil do usuário e analisar possíveis ações

que possam ser realizadas durante o uso do sistema. È muito utilizada como complemento da

preparação de testes de usabilidade.

Quadro 3 – Adaptação do Modelo Estrela para Avaliação

Fonte: BARANAUSKAS & ROCHA (2003)

Fase Preparatória

- Analistas definem tarefas, sequências de ações para cada tarefa, população de usuários e a interface a ser analisada.

1. Quem serão os usuários do sistema?

2. Qual tarefa(s) devem ser analisadas?

3. Qual é a correta sequência de ações para cada tarefa e como pode ser descrita?

4. Como a interface é definida?

Fase de Análise

- Objetiva contar uma estória verossímil que informe sobre o conhecimento do usuário e objetivos, e sobre o entendimento do processo de solução de problemas que leva o usuário a adivinhar a correta solução. Analistas repsondem as questões:

1. Os usuários farão a ação correta para atingir o resultado desejado?

2. Os usuários perceberão que a ação correta está disponível?

3. Os usuários irão associar a ação correta com o efeito desejado?

4. Se a ação correta for executada os usuários perceberão que foi feito um progresso em relação à tarefa desejada? - Uma estória verossímil será contada se algumas das questões acima tiver repsota negativa.

25

2.5.5 Teste de Usabilidade

O objetivo principal do teste de usabilidade, segundo AMSTEL[1](2008), é não apenas

identificar problemas na interface, mas “compreender a interação do usuário com o produto”.

Nielsen(2007) define um grupo de principais problemas que podem ser identificados em

principalmente em sistemas web ou seja, problemas que levam o usuário a cometer falhas. São

eles:

Arquitetura de Informação e Busca: Nomes de links e categorias

confusos, falta de organização e agrupamento de informações, sistemas de

pesquisa interno falhos.

Conteúdo e Informações: Falta de credibilidade, informações confusas,

descrições incompletas sobre produtos, serviços e a empresa em foco.

Suporte a Tarefas: Inconsistências na sequência das páginas, falta de

mensagens que auxiliam na execução de uma tarefa, grande número de

telas e incompatibilidade de dados com formulários.

Design da Página: Dificuldades na leitura, layout mal planejado e

imagens gráficas sem conceito de design.

Com a modernização dos estudos em usabilidade vários tipos e formas de realizar testes

vêm sendo desenvolvidos. Existem algumas categorias que são definidas por AMSTEL(2008)

para esses testes, sendo elas:

Formativo / Validativo: Onde os resultados dos testes podem ser

utilizados para formar ou validar hipóteses.

26

Qualitativo / Quantitativo: Qualitativo se baseia em respostas abertas e o

quantitativo em números para chegar a resultados.

Cooperativo / Individual: Cooperativo existe a participação do avaliador

como auxiliar nas tarefas. O individual o usuário é submetido a testes sem

apoio externo.

Livre / Estruturado: Livre segue o método exploratório da interface. No

estruturado são definidas tarefas específicas para que o usuário possa

executar.

Em campo / Em laboratório: Em campo é realizar os testes em um

ambiente não controlado possível de interferências externas. Em

laboratório é realizar em ambiente controlado e protegido de interferências

externas.

AMSTEL(2008) define ainda exemplos de teste que se utilizam de técnicas modernas

para obtenção de resultados como podemos ver na figura 5.

27

Figura 5 – Eye-Tracking

Fonte: AMSTEL(2008)

O Eye-tracking foi desenvolvido pela empresa Tobii Technology AB e tem o objetivo de

identificar através de um hardware especial quais os pontos da tela onde o usuário mais fixa o

olhar durante o uso do sistema, as áreas mais avermelhadas indicam que a visão do usuário

permaneceu mais tempo naquela determinada área. Esse tipo de teste tem sido muito utilizado

por empresas de publicidade e propaganda para melhor distribuir as informações publicitárias na

tela.

Várias técnicas podem ser utilizadas com objetivo se conseguir identificar mais

informações dos usuários. Na figura 6 podemos observar o teste cartão de adjetivos onde o

usuário é colocado para realizar uma tarefa e ao finalizar atribui um adjetivo de como achou o

desenvolver da tarefa. Essa técnica favorece a usuários mais inibidos demonstrarem de forma

mais clara sua opinião sobre a ferramenta.

28

Figura 6 – Cartões de Adjetivos

Fonte: AMSTEL(2008)

Para públicos mais jovens, existe o tipo de teste de pesquisas que parecem jogos online,

onde as tarefas a serem realizadas no sistema podem somar pontos e fazer parte de objetivos para

se chegar ao final do jogo. Esse tipo de técnica encarece os testes, pois é necessário que faça

adaptações no sistema para passar a ideia de jogo para o usuário. Na figura 7, podemos observar

a aplicação desse teste na forma de um jogo onde os personagens possuem característica de

usuários e são desafiados a executar tarefas no sistema e reportar dificuldades.

29

Figura 7 – Pesquisas que parecem jogos

Fonte: AMSTEL(2008)

Existe também o método de benchmark onde vários usuários são envolvidos em paralelo

e são expostos em cartões partes das telas dos sistemas e é discutida a forma de execução de

tarefas. Ao final os usuários pontuam em uma escala alguns conceitos predefinidos sobre a sua

opinião sobre a interface do sistema. A figura 8 ilustra esse modelo considerando uma escala de 1

a 5 e critérios a esquerda de nível de experiência do usuário e a esquerda lista de sensações

possíveis ao usuário ao executar as tarefas.

30

Figura 8 – Benchmark com Usuários

Fonte: AMSTEL(2008)

Outro tipo de teste citado por GOMES(2009) é o de rastro de caminho do mouse.

Existem hoje softwares especializados em gravar o caminho do mouse enquanto o usuário o

movimenta sobre a tela e o avaliador analisa a corretude das ações do usuário ao ser designada a

realização de uma determinada tarefa pelo rastro deixado pelo mouse. Um software muito

comum de ser utilizados nesses testes é o Camtasia. GOMES(2009).

31

2.5.6 Distribuição Qui-Quadrado

De acordo com CONTI (2009):

“ O Qui Quadrado, simbolizado por χ² é um teste de hipóteses que se destina a

encontrar um valor da dispersão para duas variáveis nominais, avaliando a

associação existente entre variáveis qualitativas. É um teste não paramétrico, ou

seja, não depende dos parâmetros populacionais, como média e variância. O

princípio básico deste método é comparar proporções, isto é, as possíveis

divergências entre as frequências observadas e esperadas para um certo evento.

Evidentemente, pode-se dizer que dois grupos se comportam de forma

semelhante se as diferenças entre as frequências observadas e as esperadas em

cada categoria forem muito pequenas, próximas a zero”.

Portanto, o teste é utilizado para:

“...Verificar se a frequência com que um determinado acontecimento observado em uma

amostra se desvia significativamente ou não da frequência com que ele é esperado”. CONTI

(2009).

Neste trabalho utilizamos a distribuição estatística com intuito de validar a existência de

diferenças significativas entre os resultados obtidos com o questionário para o Orkut e o

Facebook. Caso a diferença entre as respostas obtidas fosse estatisticamente provada como

insignificante foi concluído nos resultados que os entrevistados possuem opiniões semelhantes

para os dois sites de relacionamento naquele determinado item analisado.

32

3. ESTUDO DE CASO

Este capítulo visa descrever como se deu a realização do estudo de caso realizado

durante a pesquisa. No item 3.1 são mostradas as técnicas que foram abordadas e a metodologia

utilizada.

Como os sistemas de site de relacionamento estão cada vez mais complexos e cheios de

informações foram determinadas tarefas predefinidas para execução dos testes. A escolha das

tarefas se deu através do objetivo de levar o usuário a utilizar-se do fluxo básico das

funcionalidades principais comuns aos dois sistemas. As tarefas foram utilizadas na combinação

dos dois tipos de abordagens, Percurso Cognitivo e Teste de Usabilidade. Sendo elas:

Buscar e Adicionar um novo amigo;

Buscar por um amigo que já é membro de sua rede;

Enviar um recado a um amigo;

Adicionar um aplicativo;

Excluir um amigo de sua rede;

Criar uma nova comunidade;

Buscar e entrar para uma nova comunidade;

Estabelecer comunicação online por chat;

A escolha do Percurso Cognitivo se deu devido a técnica possibilitar a definição de um

passo a passo e documentar um resultado esperado para cada tarefa. Essa técnica é utilizada sem

a presença de usuário e nesta pesquisa teve como objetivo apenas auxiliar na validação das

tarefas predefinidas que seriam executadas pelos usuários antes de responderem ao questionário.

33

Técnicas com a presença de usuários como Eye-tracking, benchmark não trariam o resultado

esperado que fosse de validar as tarefas selecionadas de forma imparcial com visão de avaliador

objetivando disponibilizar as tarefas de forma consistente e que os usuários tivessem a real

possibilidade de concluí-las. Outras técnicas, tal como a avaliação de guidelines, ou a avaliação

heurística, que objetivam apenas identificar erros nas interfaces, também não agregariam o valor

necessário neste caso.

O Teste de Usabilidade foi selecionado por possuir diversas formas de ser realizado com

ou sem observação do avaliador, com muitos recursos disponíveis ou com recursos adaptados.

Ou seja, uma técnica que possui diversas formas de ser aplicada dependendo do que se deseja

encontrar. Como um dos métodos de utilização destacamos a pesquisa ou survey que possibilitou

para este trabalho a aplicação do questionário que buscar identificar a satisfação dos usuários em

relação ao sistema e caracterizar os principais grupos de usuários.

3.1 Teste de Usabilidade e Percurso Cognitivo

O percurso cognitivo, como é comumente encontrado na literatura e utilizado em

parceria com o teste de usabilidade com objetivo de incentivar o uso exploratório do sistema e

orientar a realização de tarefas pré-definidas que favorecem a utilização de alguns recursos

básicos dos sistemas.

O teste de usabilidade foi definido como Formativo/Quantitativo/Individual/ Estruturado

Parcialmente/Em Campo, onde o objetivo principal definido para o teste é levantar o grau de

satisfação dos usuários com a interface dos sistemas.

Como o objetivo é avaliar a satisfação, foi definido um conjunto de tarefas que permite a

utilização de recursos básicos do sistema e foi elaborado um questionário utilizando-se os

recursos do Google spreadsheets que foi disponibilizado aos usuários através da Web. O

endereço foi enviado por email para os usuários selecionados e no modelo de email estão listadas

as tarefas e algumas informações da pesquisa. É importante ressaltar que o recurso da Google não

permite apenas a aplicação do questionário mas também a consolidação dos dados de forma

34

automática que pode ser exportada para uma planilha Excel o que favoreceu bastante para a

análise dos resultados.

O questionário possui três partes: sendo a primeira com objetivo de caracterizar o

usuário quanto a sua experiência, faixa etária, grau de instrução e vivência anterior nos sistemas.

A segunda e terceira etapa corresponde a indagações específicas sobre a satisfação em relação

aos dois sistemas estudados e foi enviado para um universo de 100 pessoas buscadas através de

contatos de rede social web e familiares, onde até o momento obtivemos 51 questionários

respondidos que foram analisados graficamente com intuito de informar características da

satisfação dos usuários com os sistemas. As perguntas podem ser observadas no modelo de

questionário listado a seguir.

Parte I

Questionário desenvolvido tendo por base o questionário elaborado por Leonardo Guimarães Zara Orientador: Prof. Me. Alexandre Torrezam Instituição: CENTRO UNIVERSITÁRIO CÂNDIDO RONDON - Unirondon Outubro de 2009 As respostas destinam-se apenas a pesquisa acadêmica na área de usabilidade de sistemas. Todos os dados registrados aqui serão mantidos em sigilo e utilizados sem identificação para fins científicos. Responda com sinceridade.

*Obrigatório

Nome * Preencher o nome corretamente.

Cidade/Estado

Email [email protected] Sexo

Masculino

feminino Qual é a sua faixa etária?

15 a 20 anos

20 a 25 anos

25 a 30 anos

30 a 35 anos

35

acima de 35anos Qual é o seu grau de instrução?

2º grau incompleto

2º grau completo

3º grau incompleto

3º grau completo

Há quanto tempo você utiliza computador?

Entre 1 ano a 2 anos

Entre 2 anos a 3 anos

Entre 3 anos a 4 anos

Mais de 4 anos.

Em que local você utiliza o computador? Pode-se marcar mais de uma opção

Em casa

No trabalho

Na escola

Outros

Em média, quantas horas por semana você utiliza o computador? Pode-se marcar mais de uma opção

Menos de 2 horas

Entre 2 e 5 horas

Entre 5 e 10 horas

Mais de 10 horas

Você é usuário de algum destes sites de relacionamento? Pode-se marcar mais de uma opção

Orkut

Facebook

Nenhum dos sites relacionados

36

Parte II

Questionário sobre o Orkut

1- Quando está no site, qual o tempo aproximado de permanência?

menos de 30 min.

até 1 hora

de 2 a 4 horas

mais de 4horas.

2- Qual o seu propósito (razão) da utilização do programa? Pode-se marcar mais de uma opção

Relacionamentos

Ver fotos

Fins profissionais

Participar das comunidades

Ver vídeos

Usar aplicativos

3- Após realizar a lista de tarefas pré-definidas você sentiu alguma dificuldade em alguma delas?

Sim

Não

Se sentiu dificuldades indique qual.

4- Quanto a organização das informações contidas no site você define como:

Péssima

Ruim

Boa

Ótima

37

5- Sentiu alguma dificuldade em acessar os recursos do site?

Muito Pouca

Pouca

Nenhuma

Alguma

Muita Dificuldade

6- O que mais chama sua atenção no site?

Conteúdo (fotos – vídeos – recados)

Anúncios publicitários

Combinação de cores

Facilidade de Navegação

Recursos disponíveis

Aplicativos

7- O que você acha sobre a aparência do site:

Péssimo

Ruim

Bom

Ótimo

8- Com relação ao grau de satisfação com o site, você afirma que está:

Totalmente satisfeito

Parcialmente satisfeito

Parcialmente insatisfeito

Parte III

Questionário sobre o Facebook

1- Quando está no site, qual o tempo aproximado de permanência?

menos de 30 min.

até 1 hora

38

de 2 a 4 horas

mais de 4horas.

2- Qual o seu propósito (razão) da utilização do programa? Pode-se marcar mais de uma opção

Relacionamentos

Ver fotos

Fins profissionais

Participar das comunidades

Ver vídeos

Usar aplicativos

3- Após realizar a lista de tarefas pré-definidas você sentiu alguma dificuldade em alguma delas?

Sim

Não

Se sentiu dificuldades indique qual.

4- Quanto a organização das informações contidas no site você define como:

Péssima

Ruim

Boa

Ótima

5- Sentiu alguma dificuldade em acessar os recursos do site?

Muito Pouca

Pouca

Nenhuma

Alguma

Muita Dificuldade

39

6- O que mais chama sua atenção no site?

Conteúdo (fotos – vídeos – recados)

Anúncios publicitários

Combinação de cores

Facilidade de Navegação

Recursos disponíveis

Aplicativos

7- O que você acha sobre a aparência do site:

Péssimo

Ruim

Bom

Ótimo

8- Com relação ao grau de satisfação com o site, você afirma que está:

Totalmente satisfeito

Parcialmente satisfeito

Parcialmente insatisfeito

Totalmente insatisfeito

40

4. ANÁLISE DOS RESULTADOS

Este capítulo trata no item 4.1 sobre o tipo de público abordado na pesquisa e

suas principais características. Na seção 4.2 é realizada a análise dos dados obtidos e suas

correlações.

4.1 Caracterização do Público Alvo

Faixa Etária

O universo de questionários respondidos correspondeu à amostra de 51 pessoas sendo:

10 com faixa etária de 15 a 19 anos, 25 de 20 a 24 anos, 12 entre 25 a 35 anos e 4 acima de 35

anos (Figura 9).

Figura 9 – Faixa Etária Estudada

41

A escolha das faixas etárias se deu baseada na categoria estabelecida pela Organização

Mundial de Saúde (OMS), que divide, Criança – 0 a 9 anos, Adolescente – 10 a 19 anos

Jovem – 15 a 24 anos, Adulto – 25 a 59 anos. Como o site Facebook restringe o acesso a menores

de 13 anos essa faixa etária foi desconsiderada para esta pesquisa. Com a necessidade de uma

maior representatividade dos perfis de usuários, o grupo adulto foi subdivido em dois grupos

menores. Portanto para essa pesquisa foi definida a seguinte classificação: 15 a 19 – Adolescente,

20 a 24 – Jovem, 25 a 35 – Adulto Jovem e Acima de 35 – Adulto.

Podemos observar que cerca de quase 50% dos pesquisados encontram-se na faixa etária

de 20 a 24 anos. Segundo Santos[17](SANTOS,2008) esse fato pode ser justificado pelo fato de

que são o grupo que atualmente mais se utiliza de computadores seja para trabalho ou para lazer.

É importante ressaltar que a maioria dos entrevistados informou que o computador faz

parte da sua rotina diária e passou a utilizá-lo de forma natural sendo inserido em suas vidas

gradativamente e sem a necessidade de realização de cursos para aprender a dominá-lo. Muitas

dessas escolas de computação básica hoje em dia vêm se focando em pessoas cuja faixa etária

não possibilitou de forma natural essa transição da era do papel e calculadoras para a

computadores modernos.

Grau de Instrução

Quanto ao grau de instrução, foi identificado que a maioria cerca de 80% estão cursando

ou já finalizaram o nível superior ou 3º grau. Esse fato pode ser justificado pelo avanço do

desenvolvimento do país que tem favorecido através de iniciativas públicas o acesso ao ensino

superior ao longo dos últimos anos através da inauguração de novos cursos e de novas

universidades públicas ou mesmo através de programas de parcerias entre governo e

universidades privadas, como é o caso do PROUNI. Universidades particulares com cursos

superiores de menor duração e baixo custo também podem ser motivadores desse aumento na

participação das pessoas em cursos superiores. (Figura 10)

42

Figura 10 – Grau de Instrução do público estudado

Experiência com Computadores

Cerca de 78% das pessoas possuíam boa experiência anterior com o uso de

computadores. Esse fato pode ser comprovado pela observação da evolução da tecnologia no

mundo atual, cada vez mais os computadores estão presentes na vida do ser humano e tem o

início de seu uso em uma faixa etária cada vez menor. Foi observado também que a maioria dos

entrevistados utiliza os computadores durante 5 a 10 horas por dia em casa ou no trabalho. Fato

que pode ser evidenciado por o computador estar presente na maioria dos trabalhos e escolas

atualmente e fazer parte da rotina das pessoas. Pelo menos um dos sistemas e 100% possuíam

algum tipo de experiência mesmo que mínimo com computadores. (Figura 11)

43

Figura 11– Período de Experiência com Computadores

É válido ressaltar que no início das pesquisas foi tentado incluir amostra de pessoas sem

experiência com computadores indo-se a campo aplicar o questionário de forma colaborativa,

porém o custo para entendimento e execução correta da pesquisa fazia necessário uma breve

capacitação em utilização de computadores. Após essa capacitação e em um universo de 10

pessoas estudadas pode-se perceber uma semelhança entre as respostas obtidas o que nos fez

despertar para o fato de que a condução e apoio no uso do computador estavam influenciando nas

respostas obtidas sendo então desprezados esses dados para efeito científico.

Utilização Anterior dos Sistemas

Quanto a utilização anterior dos sistemas foi percebido uma utilização maior

concentração de pessoas no Orkut cerca de 36%. Levados com os pesquisados os fatores

motivadores de sua permanência preferência pelo Orkut alguns afirmaram não saber utilizar o

Facebook e informaram também estar em níveis avançados de joguinhos atrelados ao Orkut.

Justificaram também os que usam os dois sistemas cerca de 27% ter conhecido o Orkut primeiro

e possuírem vínculo com amigos distantes que não possuem Facebook. (Figura 12)

44

Figura 12– Utilização anterior dos sistemas

4.2 Satisfação com a Usabilidade do Sistema

A segunda e terceira etapas do questionário foram direcionadas para entender a

satisfação do usuário em relação ao uso dos sistemas. Com objetivo de realizar a análise dos

dados e estabelecer a correlação entre as informações obtidas. Para validar a existência de

diferença estatística entre os dados, foi utilizada a técnica do teste do QUI-QUADRADO e o

teste de correlação entre dados de Pearson.

As células de dados da tabela 1 contêm os valores observados de usuários de cada

um dos serviços oferecidos, em cada um dos ambientes. Tais valores foram obtidos

diretamente dos questionários aplicados.

Tabela 1 – Valores observados absolutos do propósito de utilização.

VALORES OBSERVADOS

Orkut Facebook TOTAL

Relacionamentos 28 23 51

Ver fotos 51 49 100

Fins profissionais 13 27 40

Participar das comunidades 40 22 62

Ver vídeos 21 23 44

Usar aplicativos 35 40 75

TOTAL 188 184 372

45

Por outro lado, na tabela 2 se encontra os valores esperados de usuários, referente à

tabela 1.

Tabela 2 – Valores esperados absolutos do propósito de utilização.

VALORES ESPERADOS

Orkut Facebook TOTAL

Relacionamentos 26 25 51

Ver fotos 51 49 100

Fins profissionais 20 20 40

Participar das comunidades 31 31 62

Ver vídeos 22 22 44

Usar aplicativos 38 37 75

TOTAIS 188 184 372

Os valores esperados foram calculados tomando por base as variáveis apresentadas a

seguir.

VOi,j: valor observado na célula (i,j).

SOLi: soma dos valores observados da linha (i).

SOCj: soma dos valores observados da coluna (j).

SOT: soma total dos valores observados.

VEi,j: valor esperado na célula (i,j).

O valor esperado, que ficará na interseção da linha i, com a coluna j, é calculado pela

seguinte expressão:

VEi,j = SOLi * (SOCj / SOT).

Uma vez calculados os números que deverão compor a tabela de valores esperados,

então será possível realizar um teste estatístico para verificar se há diferença estatística desta

com a tabela de valores observados. O teste a ser utilizado é um que mede a aderência entre as

tabelas, conhecido pela denominação de teste do qui-quadrado (2, ou seja, a letra grega qui

com o expoente dois)

46

A fim de aplicar esse teste deve-se estabelecer um nível de significância,

representado por (alfa, letra do alfabeto grego), cujo valor recomendado é igual a “0,05” (ou

5%), conforme recomendado pela literatura para este tipo de problema. Além disso, desde que

as tabelas são formadas por seis linhas (l = 6) e duas colunas (c = 2), deve-se determinar a

quantidade de graus de liberdade (gl), um importante parâmetro exigido por essa distribuição

de probabilidade. Da teoria sabe-se que

gl = (l – 1) * (c – 1) = (6 -1) * (2 – 1) = 5.

O cálculo do valor do qui-quadrado é procedido do seguinte modo. Para cada uma

das células das tabelas, deve-se calcular uma expressão que representa o desvio relativo

quadrático (DRQi,j) entre os valores observado e esperado, como abaixo:

DRQi,j = ((VOi,j - VEi,j) / VEi,j)2.

Em seguida, calcula-se o valor do qui-quadrado somando-se todos os DRQi,j obtidos.

Assim, tem-se que

2(calc) = i,j DRQi,j.

Esse valor do qui-quadrado calculado deve ser confrontado com o do qui-quadrado

que se obtém da tabela (qui-quadrado tabelado, ou 2(tab)), considerando o nível de

significância de “ = 0,05” e “gl = 5”, cujo valor é igual a “11,070”. Procedendo ao cálculo do

qui-quadrado a partir dos valores da tabela, pode-se ver que 2(calc) é igual a “11,039”, na

Tabela 3.

Tabela 3 – Valores para o cálculo do QUI-QUADRADO do propósito de utilização.

VALOR DO QUI-QUADRADO

Orkut Facebook

Relacionamentos 0,19 0,2

Ver fotos 0,00 0,0

Fins profissionais 2,58 2,6

Participar das comunidades 2,40 2,4

Ver vídeos 0,07 0,1

Usar aplicativos 0,22 0,2

TOTAIS 5,5 5,6 11,039

47

Assim, desde que o qui-quadrado calculado (2(calc) = 11,039) não é superior ao

qui-quadrado tabelado (2(tab) = 11,070), isto é,

2(calc) <

2(tab),

conclui-se que não há diferença estatística significativa entre as duas tabelas, a de valores

observados e a de valores esperados.

Logo, não se pode dizer que há preferência na procura de um sistema sobre o outro.

Porém graficamente na figura 14 podemos perceber diferenças significativas entre os

propostos de utilização onde: 9% a mais de usuários preferem utilizar-se de comunidades no

Orkut e 8% a mais dos usuários preferem o Facebook para fins profissionais.

A Figura 14 ilustra o percentual de distribuição das respostas obtidas com a pesquisa

e deixa evidente o resultado alcançado e analisado.

Figura 14 – Percentual de Utilização por Preferências

Com relação a análise de correlação de Pearson utilizamos a ferramenta MINITAB

em sua versão gratuita para testar para calcular a correlação entre os pontos levantados com a

aplicação do questionário. Foram definidos para essa análise os seguintes critérios baseados na

literatura, isto é:

p-value >= 0,6 indica correlação forte;

p-value entre 0,6 e 0,4 indica correlação média;

p-value <=0,4 indica correlação fraca.

48

A utilização de comunidades no Orkut percebeu-se que no universo da pesquisa em

sua maioria é realizada por pessoas entre 20 a 25 anos que possuem superior completo, tem

mais de quatro (4) anos de experiência com computador e já era usuário do Orkut antes da

pesquisa. A correlação entre esses dados mostrou um

p-value = 0,758

indicando uma correlação forte entre as informações o que fortalece a veracidade do perfil

definido na pesquisa e afirma que, ao se alterar uma dessas variáveis, as outras serão

impactadas.

Com relação a utilização de fotos percebemos que, em sua maioria, é realizada pela

faixa etária de 15 a 20 anos, com 2º grau completo, com experiência com computador de mais

de 4 anos e com vivência anterior dos dois sistemas. O p-value dessa análise foi igual a 0,563,

indicando correlação média entre os valores analisados.

Com relação a fins profissionais podemos perceber que a utilização do Facebook é

realizada por pessoas de 20 a 25 anos com superior completo, com experiência anterior no

próprio Facebook. O p-value dessa análise foi de 0,861 indicando correlação forte entre os

dados.

Analisando as tarefas pré-definidas pudemos perceber que os usuários tiveram mais

dificuldade na execução das mesmas no Orkut que no Facebook. A tarefa que mais demandou

dificuldades foi a de “Adicionar um Aplicativo” e, em segundo lugar, a de “Estabelecer

Comunicação Online” através dos chats incluídos nas ferramentas.

As pessoas que mais representaram dificuldades foram as da faixa etária de 25 a 35

anos e Acima de 35 anos. Porém, todas as faixas etárias demonstraram um percentual de

usuários que tiveram dificuldades para realização das tarefas. Quando indagados sobre o

porquê das dificuldades, eles informaram que com relação ao Orkut um dos principais

motivos é a mudança constante de interface que gera um retrabalho de aprendizado constante

e uma leve insatisfação e desmotivação perante as mudanças constantes de interface. Quanto

ao Facebook alegaram que o estilo é bem diferente do Orkut, que veio antes, e cuja interface

possui muitas publicidades e um sistema de atualizações que confunde a utilização dos

recursos.

49

A Figura 15 ilustra o percentual de usuários que demonstraram algum tipo de

dificuldades com relação à execução das tarefas programadas.

Figura 15 – Percentual de dificuldades na execução das tarefas pré-definidas

Analisando a Satisfação com a organização dos conteúdos na interface dos sites

dividimos em quatro categorias as possíveis respostas: Péssima, Ruim, Boa e Ótima..

Desprezamos os valores para a classificação “Péssima”, pois não ocorreram respostas para ela.

Podemos observar na Tabelas 4 as respostas obtidas diretamente dos questionários

aplicados na pesquisa.

Tabela 4 – Valores absolutos observados para a qualidade de organização do conteúdo.

VALORES OBSERVADOS

Orkut Facebook TOTAL

Ruim 12 17 29

Boa 38 30 68

Ótima 1 4 5

TOTAL 51 51 102

Por outro lado, na Tabela 5 se encontra os valores esperados de usuários, referente à

Tabela 4.

Tabela 5– Valores absolutos esperados para a qualidade de organização do conteúdo.

VALORES ESPERADOS

Orkut Facebook TOTAL

Ruim 15 15 29

Boa 34 34 68

Ótima 3 3 5

TOTAL 51 51 102

50

Considerando o nível de significância de “ = 0,05” e “gl = 2”. Chegamos a um

2(calc) = 3,603(Tabela 6) que é menor que o

2(tab) definido de 5,99 o que mostra que

estatisticamente é insignificante a variação das respostas.

Porém existe diferença uma sutil diferença gráfica na Figura 12 entre a classificação

dos usuários quanto a qualidade da distribuição dos conteúdos na interface.

Neste caso podemos perceber claramente na Tabela 4 que maioria das pessoas

caracteriza como boa a Organização do Orkut, porém existe a ocorrência de (quatro) 4

usuários que caracterizam o Facebook como ótima.

Ao analisarmos essa particularidade percebeu-se ser um perfil de pessoas de faixa

etária de 25 a 35 anos, que possuem experiência com computadores de mais de 3 anos e que se

utilizam do Facebook para fins de trabalho, além de outros fins. Isso mostra que essas pessoas

possuem boa intimidade com a interface do Facebook, fato que pode ter influenciado no

resultado da pesquisa, ou ser característica determinante para os usuários gostarem da forma

de distribuição dos conteúdos na interface.

Tabela 6 – Valores do QUI-QUADRADO para a qualidade de organização do conteúdo.

VALOR DO QUI-QUADRADO

Orkut Facebook

Ruim 0,43 0,4 Boa 0,47 0,5 Ótima 0,90 0,9 TOTAIS 1,8 1,8 3,603

A Figura 16 ilustra o percentual atingido por cada tipo de classificação em relação ao

todo.

51

Figura 16 – Satisfação quanto a organização de conteúdo nas interfaces

Foi solicitado aos usuários entrevistados que navegassem livremente nos sistemas e

relatassem o grau de dificuldades que obtiveram ao realizar essa ação. Como resultado foi

percebido que a maioria não sentiu dificuldades na navegação livre ocorrendo uma variação

de 10% entre as pessoas que optou pela categoria “Nenhuma” entre os dois sistemas. Ao

analisarmos a ocorrência da categoria “Muita dificuldade” percebeu que a maioria de usuários

que optaram por esta resposta está na categoria acima de 35 anos e não possuíam experiência

anterior com nenhum dos sistemas. Essa relação pode justificar a dificuldade com os sistemas

por ser algo novo para esse público que veio a vivenciar o uso de computadores no mínimo

durante a sua adolescência devido a sua faixa etária.

Na Figura 17 pode-se ver o percentual de cada categoria em relação às respostas

como um todo por sistema obtido dos questionários aplicados na pesquisa.

Figura 17 – Percentual de Dificuldades na Navegação Livre

52

Alterando o contexto para a observação dos pontos que foram definidos pelos

usuários como os mais atrativos, nota-se bastante variação entre as escolhas para os sistemas

como vemos na Tabela 7. Podemos observar também os valores esperados na Tabela 8.

Estatisticamente e, levando em consideração o nível de significância de “ = 0,05” e “gl = 5”

cujo valor é igual a “11,070”, chegamos em 2(calc) = 5,752 que não é maior que o

2(tab)

definido de 11,070 mostrando não haver diferenças significantes estatisticamente entre as

escolhas para cada sistema.

Percebemos nas respostas obtidas dos questionários que a maioria vê como ponto

forte do Orkut a questão de conteúdo e uso de aplicativos e que tem como ponto negativo a

dificuldade de navegação e a combinação de cores.

No Facebook os usuários identificaram como pontos positivos os recursos

disponíveis, o conteúdo sendo escolha inferior ao Orkut e em superação ao Orkut os anúncios

publicitários. Quando indagados sobre os resultados os entrevistados informaram que utilizam

aplicativos nos dois sistemas e que esse é um ponto forte para a permanência da fidelidade

como usuário. Outro pode relevante foi que a interface do Facebook mais limpa e com uma

menor variação de cores favorece a visão mais agradável para os usuários, porém

impossibilita a mudança da interface para deixar a página mais pessoal e o tema constante

acaba cansando com o tempo.

A facilidade de modificação dos temas de interface no Orkut foi abordada como

ponto forte. Durante a pesquisa ficou evidente que os usuários uma vez inseridos nos sistemas

passam a naturalmente se utilizar da maior parte dos recursos disponíveis.

Tabela 7 – Valores absolutos obtidos para a escolha de pontos atrativos dos sites.

VALORES OBSERVADOS

Orkut Facebook TOTAL

Conteúdo (fotos – vídeos – recados) 22 18 40

Anúncios publicitários 4 7 11

Combinação de cores 1 0 1

Facilidade de Navegação 0 3 3

Recursos disponíveis 9 11 20

Aplicativos 15 12 27

TOTAL 51 51 102

53

Por outro lado, na Tabela 8 se encontra os valores esperados de usuários, referente à

Tabela 7.

Tabela 8 – Valores absolutos esperados para a escolha de pontos atrativos dos sites.

VALORES ESPERADOS

Orkut Facebook TOTAL

Conteúdo (fotos – vídeos – recados)

20 20 40

Anúncios publicitários 6 6 11

Combinação de cores 1 1 1

Facilidade de Navegação 2 2 3

Recursos disponíveis 10 10 20

Aplicativos 14 14 27

TOTAL 51 51 102

Assim, desde que o qui-quadrado calculado na Tabela 9 (5,752) não é superior ao

qui-quadrado tabelado (11,070), isto é,

2(calc) <

2(tab),

conclui-se que não há diferença estatística significativa entre as duas tabelas, a de valores

observados e a de valores esperados.

Tabela 9 – Valores do QUI-QUADRADO para escolha de pontos atrativos dos sites.

VALOR DO QUI-QUADRADO

Orkut Facebook Conteúdo (fotos – vídeos – recados) 0,20 0,2

Anúncios publicitários 0,41 0,4

Combinação de cores 0,50 0,5

Facilidade de Navegação 1,50 1,5

Recursos disponíveis 0,10 0,1

Aplicativos 0,17 0,2

TOTAIS 2,9 2,9 5,752

A Figura 18 ilustra o percentual de cada categoria em relação às respostas como um

todo por sistema.

54

Figura 18 – Percentual de Escolhas de Atrativos por Site

Quanto à aparência dos sites claramente a Figura 19 ressalta uma diferença de

opiniões que dispensa a análise do qui-quadrado para este caso. Como podemos observar

cerca de 20% a mais caracterizam a interface do Orkut como Ruim. As justificativas se

embasam principalmente nas mudanças constantes alguns até citaram utilizar-se da versão

antiga para evitar transtornos. Com relação ao Facebook maioria de 59% julgou a aparência

da interface como boa e justificou por ser uma interface limpa, que não agride a visão e com

conteúdos bem separados, porém sugeriram que alguns conteúdos poderiam ser melhor

organizados na interface.

Figura 19 – Percentual de Escolhas em Relação a Aparência dos Sites

Com relação a Satisfação dos Usuários, ponto chave da nossa pesquisa, calculamos o

qui-quadrado para analisar se há diferença significativa em relação a satisfação dos usuários

55

para os dois sistemas. Observamos na Tabela 10 os valores obtidos diretamente dos

questionários aplicados na pesquisa.

Tabela 10 – Valores absolutos obtidos dos questionários para a satisfação dos usuários.

VALORES OBSERVADOS

orkut facebook TOTAL

Satisfeito 22 25 47

Parcialmente satisfeito 25 19 44

Insatisfeito 4 7 11

TOTAL 51 51 102

Por outro lado, na Tabela 11 se encontra os valores esperados de usuários, referente à

Tabela 10.

Tabela 11 – Valores absolutos esperados para a satisfação dos usuários.

VALORES ESPERADOS

Orkut Facebook TOTAL

Satisfeito 13 24 36

Parcialmente satisfeito 22 22 44

Insatisfeito 6 6 11

TOTAL 51 51 91

Tabela 12 – Valores do QUI-QUADRADO para a satisfação dos usuários.

VALOR DO QUI-QUADRADO

Orkut Facebook

Satisfeito 7,22 0,1

Parcialmente satisfeito 0,41 0,4

Insatisfeito 0,41 0,4

TOTAIS 8,0 0,9 8,952

Analisando a Tabela 12 e consideração o nível de significância de “ = 0,05” e “gl =

2” cujo valor é igual a “5,991” chegamos em 2(calc) = 8,952 que é maior que o

2(tab)

definido de 5,991 mostrando haver diferenças significantes estatisticamente entre as escolhas

para cada sistema. Estes dados mostram que os usuários têm diferentes conceitos de satisfação

em relação aos dois sistemas.

56

Na tabela 10 podemos perceber que apensar de julgaram no item anterior a aparência

das interfaces em sua maioria ruins ou no máximo boas os usuários não estão

significativamente insatisfeitos com as interfaces que os sites disponibilizam.

Caracterizando através dos resultados dos dados obtidos nos questionários aplicados

o perfil de usuários mais satisfeito e mais insatisfeito para cada sistema temos:

Orkut:

Satisfeito: pessoa entre 20 a 24 anos, com superior incompleto, tempo de uso de

computador acima de 4 anos, usuário anterior do sistema, que não sentiu dificuldades ao

realizar as tarefas solicitadas, que não está totalmente satisfeito com a organização dos

conteúdos na interface e que julga a aparência pouco atrativa.

Insatisfeito: pessoa entre 15 a 19 anos e acima de 35 anos, com superior

incompleto, tempo de uso de computador menos que dois anos, usuário anterior do sistema,

que sentiu muita dificuldade para realizar as tarefas solicitadas e que julga as mudanças

constantes na interface do sistema um grave problema para a usabilidade.

Facebook:

Satisfeito: pessoa entre 20 a 24 anos, com superior completo, tempo de uso de

computador acima de 4 anos, usuário anterior do sistema, que não sentiu dificuldades ao

realizar as tarefas solicitadas, que não está totalmente satisfeito com a organização dos

conteúdos na interface e que julga a aparência bastante atrativa e agradável a visão.

Insatisfeito: pessoa acima de 35 anos, com superior completo, tempo de uso de

computador entre 1 a 2 dois anos, nunca havia sido usuário anterior do sistema, que sentiu

muita dificuldade para realizar as tarefas solicitadas.

57

A Figura 20 ilustra o percentual de cada categoria em relação às respostas como um

todo por sistema.

Figura 20 – Percentual de Satisfação dos Usuários por Site

58

5. CONCLUSÃO

Percebeu-se que o percurso cognitivo pode ser uma importante ferramenta para

definição da estruturação das tarefas e cenários do teste de usabilidade. Contribuindo para a

definição das tarefas e dos principais pontos do sistema que devem ser explorados pelo usuário.

Foi percebido que apesar de não haver diferenças significativas do ponto de vista

estatístico na maioria dos pontos entre as escolhas dos usuários, no ponto principal que é o

relativo à Satisfação dos Usuários foi comprovada estatisticamente a diferença entre as escolhas

dos usuários mostrando que atualmente as pessoas estão mais satisfeitas com o Orkut do que com

o Facebook.

Foi possível perceber ainda que apesar de uma quantidade significativa dos

usuários não julgarem como boa a aparência dos sites, fator que está diretamente relacionado a

usabilidade do sistema, em sua maioria de uma forma geral eles estão satisfeitos com a interface

dos sistemas.

Sugerimos como melhoria para o Orkut manter mais constância em relação às

mudanças de interface e evitar alterações bruscas constantemente. Sugerimos ao Facebook

organizar de forma mais intuitiva a questão do alertas exibidos principalmente relativos a

aplicativos e distribuir de forma mais intuitiva os conteúdos expostos.

59

5.1 Sugestões de Trabalhos Futuros

Aplicar através de estudo em campo as técnicas levantadas na seção biliográfica

desta pesquisa;

Realizar a pesquisa em regiões diversificadas para compreender se existe

mudanças entre as diversas regiões do país;

Realizar estudo com grupos de usuários sem expêriencia anterior em

computadores e em sites de relacionamento.

Realizar estudo de usabilidade monitorado em laboratório observando as reações

dos usuários ao utilizarem os sistemas.

60

6. REFERÊNCIAS

1. AMSTEL, Frederick V. Como fazer testes de usabilidade. Disponível em:

<http://usabilidoido.com.br/como_fazer_testes_de_usabilidade.html >,2008.

2. BARANAUSKAS & ROCHA, Maria C.C & Heloisa V. Design e avaliação de interfaces humano-computador, 2ed,Campinas, SP:NIED/UNICAMP, 2003.

3. CABRAL, Flávio. Usabilidade de Software. Universidade Federal do Rio Grande do Sul. Porto Alegre – RS. Disponível em: <http://www.inf.ufrgs.br/~cabral/01-usabilidade.pdf>, 2006.

4. CONTI, Fátima. Biometria Qui Quadrado. Laboratório de Informática ICB. Universidade

Federal da Paraíba, UFPA, João Pessoa, Ceará, 2009.

5. DIX, A., Finlay, J., Abowd, G., and Beale, R.. Human-Computer-Interaction. Pearson Education, 2004.

6. FARIAS, Cléver R. G. Aplicação de Avaliação Heurística no Desenvolvimento de Sistemas de Informação em Saúde. Universidade de São Paulo (USP), Ribeirão Preto,SP. Disponível em: <http://bibliotecadigital.sbc.org.br/download.php?paper=1463>, 2009.

7. FISHER, G. Supporting learning on demand with design environments. Proceedings of the International Conference on Learning Sciences, (1991).

8. FONSECA, Jansley N. Conhecendo a engenharia de usabilidade. Trabalho de Conclusão

de Curso, Faculdade Integrada do Ceará, Fortaleza, CE, 2004.

9. FERREIRA, Kátia G. Teste de usabilidade. Trabalho de Conclusão de Curso de

Especialização em Engenharia de Software, Universidade Federal de Minas Gerais, Belo Horizonte, MG, 2002.

10. GOMES, Albert S. FAVICH - Framework de avaliação da interação humano-

computador. Dissertação de Mestrado, Universidade de Fortaleza, Fortaleza, CE, 2009.

11. ISO 9241-11. Guidance on Usability. Ergonomic Requirements for Office Work with

Visual Display Terminals (VDT), 1996.

61

12. KRUG, S. Não me faça pensar. 2. Ed, Alta Books, Rio de Janeiro, 2006.

13. NIELSEN, J. Usability Engineering. San Diego : ACADEMIC Press, 1993.

14. NETTO, Alvim A. O. IHC – Interação humano-computador: modelagem e gerência de

interfaces com o usuário, VisualBooks, Florianópolis, 2004.

15. ORTH, Afonso I. Interface Homem-Máquina. IAO, Porto Alegre, 2005.

16. PREECE, J., ROGERS, Y., SHARP, H. Design de interação: além da interação homem-

computador.Bookman, Porto Alegre 2005.

17. SANTOS, Núbia. Uma análise estatística da inclusão digital no Brasil: avanços do uso

de computadores. Universidade Estadual do Norte Fluminense Darcy Ribeiro – UENF, Capos dos Goytacazes, Riode Janeiro, RJ. Disponível em: <http://www.br-ie.org/pub/index.php/sbie/article/viewFile/761/747>, 2008.