AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf ·...

67
UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) AVALIAÇÃO DA QUALIDADE DE SITES ACADÊMICOS BASEADO NA NORMA NBR 13596 TRABALHO DE CONCLUSÃO DE CURSO SUBMETIDO À UNIVERSIDADE REGIONAL DE BLUMENAU PARA A OBTENÇÃO DOS CRÉDITOS NA DISCIPLINA COM NOME EQUIVALENTE NO CURSO DE CIÊNCIAS DA COMPUTAÇÃO — BACHARELADO ELIOMAR RUSSI BLUMENAU, NOVEMBRO/2002 2002/2-16

Transcript of AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf ·...

Page 1: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

UNIVERSIDADE REGIONAL DE BLUMENAU

CENTRO DE CIÊNCIAS EXATAS E NATURAIS

CURSO DE CIÊNCIAS DA COMPUTAÇÃO

(Bacharelado)

AVALIAÇÃO DA QUALIDADE DE SITES ACADÊMICOS BASEADO NA NORMA NBR 13596

TRABALHO DE CONCLUSÃO DE CURSO SUBMETIDO À UNIVERSIDADE REGIONAL DE BLUMENAU PARA A OBTENÇÃO DOS CRÉDITOS NA

DISCIPLINA COM NOME EQUIVALENTE NO CURSO DE CIÊNCIAS DA COMPUTAÇÃO — BACHARELADO

ELIOMAR RUSSI

BLUMENAU, NOVEMBRO/2002

2002/2-16

Page 2: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

AVALIAÇÃO DA QUALIDADE DE SITES ACADÊMICOS BASEADO NA NORMA NBR 13596

ELIOMAR RUSSI

ESTE TRABALHO DE CONCLUSÃO DE CURSO, FOI JULGADO ADEQUADO PARA OBTENÇÃO DOS CRÉDITOS NA DISCIPLINA DE TRABALHO DE

CONCLUSÃO DE CURSO OBRIGATÓRIA PARA OBTENÇÃO DO TÍTULO DE:

BACHAREL EM CIÊNCIAS DA COMPUTAÇÃO

Prof. Everaldo Artur Grahl — Orientador na FURB

Prof. José Roque Voltolini da Silva — Coordenador do TCC

BANCA EXAMINADORA

Prof. Carlos Eduardo Negrão Bizzotto Prof. Everaldo Artur Grahl Prof. Ricardo de Alencar Azambuja

Page 3: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

"Jamais considere seus estudos como uma obrigação,

mas como uma oportunidade invejável para aprender a conhecer

a influência libertadora da beleza do reino do espírito,

para seu próprio prazer pessoal

e para proveito da comunidade à qual seu futuro trabalho pertencer".

Albert Einstein

Page 4: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

DEDICATÓRIA

À meus pais Elimar e Sinova,

aos meus irmãos Édinho, Italiano e Andréia,

aos demais queridos familiares, amigos e amigas;

vocês foram fundamentais na realização deste grande sonho,

por isto dedico do fundo de meu coração este trabalho,

que para mim representa o maior marco até o momento de minha vida.

Page 5: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

AGRADECIMENTOS

A meu Pai Elimar Russi pelo companheirismo e incentivo em todos os momentos,

nunca medindo esforços no sentido de ver seus filhos no caminho correto.

A minha mãe Sinova Hadlich, mãe de todas as horas, de todos os momentos,

literalmente uma guerreira. Tem em nós, seus filhos, uma preocupação sempre constante, pois

sempre quis o bem de todos.

A meu irmão Edimar Russi, carinhosamente Édinho, talvez o mais identificado com o

meu jeito, meus costumes. O mais novo entre os irmãos, troca de experiências constantes

comigo.

Meus irmãos Elimar Russi Filho, nosso Italiano, e Andréia Hadlich Santos. Me

permito a dizer que não são apenas meus irmãos, mas sim amigos, pois são os dois mais

velhos e muitas coisas já pude aprender com eles, além de tudo já possuem seus herdeiros,

que vivem “atormentando” lá em casa, meu afilhado Neto e sobrinho Nathan.

Para agradecer a família, quero render o meu sentimento de gratidão a talvez aquele

membro que nos deu até hoje a maior prova de que competência e honestidade não estão e

nunca estiveram fora de moda, tio Ivo Hadlich, de tantas e tantas eleições ganhas e cargos

eletivos ocupados, mas que com sua humildade jamais se furtou em me dar o seu apoio.

Aos demais amigos e amigas, desde a infância até os dias de hoje, seja os da escola,

serviço, universidade, enfim, amizades duradouras, com toda certeza se não fosse a

experiência adquirida com todos vocês, provavelmente não estaria neste momento ímpar de

minha vida.

Também um agradecimento todo especial a todos da universidade, pelo qual tive a

honra de por três mandatos consecutivos ser presidente do Centro Acadêmico Livre de

Computação, sempre com a confiança dos acadêmicos, professores e servidores.

Ao meu coordenador de TCC Prof. Everaldo Artur Grahl, acima de tudo um amigo,

mas que com sua competência e atenciosidade provou-me de que fiz a escolha certa.

E a DEUS, fonte de tudo, razão de nossa existência, agradeço por tudo isto...!

Page 6: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

SUMÁRIO

LISTA DE FIGURAS ........................................................................................................... VIII

LISTA DE ABREVIATURAS E SIGLAS ...............................................................................X

RESUMO .................................................................................................................................XI

ABSTRACT ........................................................................................................................... XII

1 INTRODUÇÃO .....................................................................................................................1

1.1 ORIGEM .............................................................................................................................1

1.2 OBJETIVOS........................................................................................................................3

1.3 ORGANIZAÇÃO................................................................................................................3

2 FUNDAMENTAÇÃO TEÓRICA .........................................................................................4

2.1 QUALIDADE E USABILIDADE ......................................................................................4

2.1.1 QUESTIONÁRIOS ..........................................................................................................6

2.1.2 LIÇÃO FUNDAMENTAL: CONHECER O USUÁRIO ................................................6

2.1.3 CONSIDERAÇÕES SOBRE QUALIDADE...................................................................8

2.2 NORMA DA QUALIDADE...............................................................................................8

2.2.1 CARACTERÍSTICAS DA QUALIDADE ......................................................................9

2.2.1.1 USABILIDADE ..........................................................................................................11

2.2.1.2 FUNCIONALIDADE..................................................................................................12

2.2.1.3 CONFIABILIDADE ...................................................................................................13

2.2.1.4 EFICIÊNCIA...............................................................................................................14

2.2.1.5 MANUTENIBILIDADE.............................................................................................14

2.2.2 AVANÇOS DA TECNOLOGIA ...................................................................................15

2.3 TRABALHOS CORRELATOS........................................................................................17

3 DESENVOLVIMENTO DO TRABALHO.........................................................................18

3.1 REQUISITOS....................................................................................................................18

Page 7: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.2 ESPECIFICAÇÃO ............................................................................................................19

3.2.1 DIAGRAMA DE CASOS DE USO...............................................................................20

3.2.2 DIAGRAMA HIERÁRQUICO FUNCIONAL .............................................................20

3.2.3 DIAGRAMA DE ENTIDADE-RELACIONAMENTO................................................22

3.3 ASPECTOS DA IMPLEMENTAÇÃO.............................................................................22

3.3.1 TRECHOS DA IMPLEMENTAÇAO............................................................................23

3.3.1.1 VALIDAÇÃO DO CÓDIGO DO AVALIADOR ......................................................24

3.3.1.2 SELEÇÃO DOS TÓPICOS ........................................................................................24

3.3.1.3 CÁLCULO DA NOTA DE SUB-TÓPICO ................................................................26

3.3.1.4 CÁLCULO DA NOTA POR TÓPICO .......................................................................26

3.3.1.5 CÁLCULO DA MÉDIA FINAL.................................................................................27

3.3.2 OPERACIONALIDADE DA IMPLEMENTAÇÃO.....................................................28

3.3.3 ANALISE .......................................................................................................................37

4 CONCLUSÕES....................................................................................................................39

4.1 EXTENSÕES ....................................................................................................................40

REFERÊNCIAS BIBLIOGRÁFICAS .....................................................................................41

ANEXO I – CHECK-LIST ......................................................................................................43

ANEXO II – DIAGRAMA DE NAVEGABILIDADE ...........................................................49

Page 8: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

LISTA DE FIGURAS

FIGURA 01: Diagrama de Características de Qualidade Web................................................10

FIGURA 02: Diagrama de Características da Usabilidade .....................................................11

FIGURA 03: Diagrama de Características da Funcionalidade................................................12

FIGURA 04: Diagrama de Características da Confiabilidade.................................................13

FIGURA 05: Diagrama de Características da Eficiência ........................................................14

FIGURA 06: Diagrama de Caracterísiticas da Manutenibilidade...........................................15

FIGURA 07: Diagrama de Caso de Uso .................................................................................20

FIGURA 08: Diagrama Hierárquico Funcional ......................................................................21

FIGURA 09: Diagrama de Entidade-Relacionamento ............................................................22

FIGURA 10: Validação de Código .........................................................................................24

FIGURA 11: Seleção de Tópicos da Qualidade......................................................................25

FIGURA 12: Cálculo da Nota por Sub-Tópico ......................................................................26

FIGURA 13: Cálculo da Média Final do Tópico ....................................................................27

FIGURA 14: Cálculo da Média Final do Site.........................................................................27

FIGURA 15: Site da FURB.....................................................................................................28

FIGURA 16: Site da UFSC .....................................................................................................28

FIGURA 17: Site da UNIVALI...............................................................................................29

FIGURA 18: Tela de Abertura do Site - ASA.........................................................................29

FIGURA 19: Tela de Dicas sobre Implementação de Sites - ASA .........................................30

FIGURA 20: Tela de Ajuda Menu Principal - ASA ...............................................................30

FIGURA 21: Tela de Menu Secundário do Avaliador - ASA.................................................31

FIGURA 22: Tela de Cadastro do Avaliador - ASA...............................................................31

FIGURA 23: Fornecimento do Código após Cadastramento - ASA ......................................32

FIGURA 24: Tela de Acesso para o Processo de Avaliação - ASA .......................................32

Page 9: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 25: Tela de Cadastramento do Site - ASA...............................................................33

FIGURA 26: Tela de Escolha dos Tópicos a serem Avaliados - ASA ...................................33

FIGURA 27: Tela de Escolha (Sub-Tópicos) - ASA ..............................................................34

FIGURA 28: Questões pertinentes ao Tópico Selecionado - ASA.........................................34

FIGURA 29: Questões Obrigatórias - ASA ............................................................................35

FIGURA 30: Resultado (Site da FURB) - ASA......................................................................36

FIGURA 31: Resultado (Site da UFSC) - ASA .....................................................................36

FIGURA 32: Resultado (Site da UNIVALI) - ASA................................................................37

Page 10: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

LISTA DE ABREVIATURA E SIGLAS

ABIC – Associação Brasileira de Indústrias de Café

ABNT – Associação Brasileira de Normas Técnicas

IEEE – Instituto de Engenharia Elétrica e Eletrônica

ISO – (International Organization for Standardization) – Organização Internacional de

Normalização

SIF – Sistema de Inspeção Federal

UML – (Unified Modeling Language) – Linguagem de Modelagem Unificada

Page 11: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

RESUMO

O objetivo deste trabalho é analisar e comparar a qualidade de sites acadêmicos,

baseando-se para tal na norma NBR 13596, que utiliza características da qualidade e diretrizes

para sua aplicação. A coleta e análise dos dados efetuou-se através do ASA, um software

desenvolvido para este trabalho, operando em conexão com a internet, utilizando-se de check-

list personalizado de acordo com as preferências e necessidades de cada avaliador.

Page 12: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

ABSTRACT

The objective of this work is to analyze and to compare the quality of academic sites,

being based for such in norm NBR 13596, that it uses characteristics of the quality and lines

of direction for its application. The collection and analysis of the data were effected through

the ASA, a software developed for this work, operating in connection with the InterNet, using

themselves of personalized check-list in accordance with the preferences and necessities of

each appraiser.

Page 13: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

1 INTRODUÇÃO

1.1 ORIGEM

Buscar saber qual o nível de satisfação dos clientes tornou-se fundamental para

qualquer atividade comercial. Nas instituições universitárias não é diferente, pois neste mundo

globalizado, a grande maioria das regras impostas ao mercado afetam diretamente as

fundações educacionais, e neste sentido, há uma necessidade clara de se apurar quem está

melhor preparado do que seu concorrente, aliás, concorrência esta que aumenta a cada dia,

basta visualizar o número de universidades abertas nos últimos anos no Brasil e mais

especificamente, em Santa Catarina.

Segundo Winckler & Pimenta (2002), a world wide web (www) ou simplesmente web,

foi criada pelo britânico Tim Berners-Lee em 1989 como uma solução para os problemas de

intercâmbio de informações entre os pesquisadores. Desde então, a tecnologia para construção

de interfaces web vem sendo progressivamente incrementada, permitindo o desenvolvimento

de aplicações cada vez mais completas e conseqüentemente complexas. No início, a web era

apenas um ambiente para publicação de documentos no formato texto, sendo que atualmente

há a incorporação de muitas outras tecnologias de interface, como por exemplo: ActiveX,

Java, JavaScript, entre outras.

Durante este processo evolutivo, o número de usuários e de sites cresceu

exponencialmente, pois a web tornou-se acessível a uma gama considerável de pessoas em

todo o mundo, contando com uma vasta quantidade de aplicações; contudo, observa-se que tal

popularidade não implica necessariamente em usuários satisfeitos, pois muitos sites da web

são visitados apenas uma vez pela mesma pessoa. Em muitos casos, isto ocorre não pelo

motivo de que o conteúdo do site não os interessa, mas sim porque eles não encontram a

informação totalmente desejada, ou mesmo, numa ordem esperada.

O site neste quesito é de fundamental importância, pois atualmente é um dos meios de

comunicação mais utilizados entre clientes e empresas, transformando-se no cartão de visitas

eletrônico, basta conferir o grande número de internautas que navegam na grande rede

(internet) diariamente e visitam as páginas acadêmicas por exemplo.

Page 14: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Ao invés de navegarem aleatoriamente, muitas pessoas acessam diretamente um

pequeno conjunto de sites que classificam como favoritos em função do conteúdo e da

qualidade das informações. Eles procuram por informações específicas e vários elementos

visuais utilizados para atraí-los passaram a ser considerados dispersivos.

De acordo com Rocha et al. (2001) a web é um ambiente complexo e,

conseqüentemente, a avaliação de produtos de software web é uma tarefa difícil dado o

conjunto de características particulares envolvidas. Essa dificuldade se deve também, em

parte, ao fato de que a web deixou de ser “orientada a documentos” para ser “orientada a

aplicações”.

Isto exige um processo de garantia da qualidade que considere diferentes aspectos que

abrangem desde a qualidade da interface no que se refere a uso de recursos gráficos e cores

até a necessidade de garantir a correção do conteúdo disponibilizado e a segurança das

informações e de acesso.

Quando se pensa em qualidade de um “produto físico” é fácil imaginar padrões de

comparação, provavelmente ligado às dimensões do produto ou alguma outra característica

física. Quando se trata de sites, como definir exatamente o que é a qualidade ? A ISO já

pensou bastante sobre o assunto. O suficiente para publicar uma norma que representa a atual

padronização mundial para a qualidade de produtos de software. Esta norma chama-se

ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade de

software e possui o seu formato traduzido para o Brasil, publicado em agosto de 1996 como

NBR 13596. Esta norma lista o conjunto de características que devem ser verificadas em um

software para que ele seja considerado um “software de qualidade”, sendo que neste caso, um

“site de qualidade”, pois esta norma também é utilizada no conceito de implementação de

sites, até porque até o presente momento não foi publicada nenhuma normalização específica

para este tema.

Diante disto, procurou-se criar um roteiro de avaliação de sites, analisando

basicamente os sites acadêmicos dos cursos de graduação de instituições universitárias,

visando principalmente buscar a satisfação em relação ao conteúdo expresso, realizando isto

através de critérios de qualidade previstas na norma NBR 13596.

Entende-se por site acadêmico, um site útil para a comunidade universitária, como por

exemplo o site dos cursos de Ciências da Computação, ao qual podem conter dados

relevantes como: currículo do curso, professores, horários e estrutura física.

Page 15: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

1.2 OBJETIVOS O objetivo principal deste trabalho foi a criação de um roteiro para avaliação de sites

acadêmicos, focando basicamente sites de cursos de Ciências da Computação, utilizando-se

para tal de um check-list baseado na norma NBR 13596.

Os objetivos específicos são:

a) desenvolvimento de uma ferramenta que permita auxiliar o roteiro criado e facilite

a análise das avaliações.

b) realização de três avaliações em sites de cursos de Ciências da Computação de

universidades catarinenses diferentes, para validar o roteiro criado.

1.3 ORGANIZAÇÃO A seguir é apresentada uma breve descrição da forma com que este trabalho foi

estruturado e organizado.

O primeiro capítulo contém a parte introdutória, destacando a origem do trabalho, bem

como as razões pelo qual o mesmo foi realizado. Encontra-se também as justificativas

referentes a escolha do tema para um trabalho de Conclusão de Curso da área de Ciências da

Computação e também os seus objetivos principais e secundários.

O segundo capítulo contempla a parte de fundamentação teórica, englobando

conceitos, técnicas e ferramentas mais relevantes, relatando principalmente o estado da arte

sobre o tema, como também, contém um tópico descrevendo um trabalho correlato

encontrado durante a fase de pesquisa deste trabalho.

O terceiro capítulo traz a descrição do ambiente de desenvolvimento da ferramenta

implementada, descrevendo o aplicativo criado dentre de suas configurações, ilustrando desta

forma o seu funcionamento através de telas e trechos de código implementados em sua

arquitetura.

O quarto capítulo ilustra as conclusões finais, deixando expresso tópicos como: se os

objetivos foram atendidos, se as ferramentas utilizadas foram adequadas, principais

contribuições desta monografia, e vantagens/limitações do protótipo analisado. Como último

destaque, a sugestão para trabalhos futuros, abordando principalmente aspectos de pontos que

possam ter continuidade para os próximos interessados.

Page 16: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

2 FUNDAMENTAÇÃO TEÓRICA Este capítulo apresenta os conceitos teóricos que serviram de fundamentação para os

principais tópicos deste trabalho, relatando e ilustrando situações e fatos que ajudaram a

construir o aplicativo final, através da formulação de idéias e a respectiva descrição das

mesmas.

2.1 QUALIDADE E USABILIDADE De acordo com Mills (1994), qualidade é a totalidade das características de um produto

ou serviço que determina sua capacidade de satisfazer determinadas necessidades. Na

verdade, esta definição pode ser expressa da seguinte forma: colocar o produto ou serviço

certo na mão do cliente ou usuário no momento certo e pelo preço certo.

Ainda segundo Mills (1994), é ponto pacífico entre a maioria dos profissionais da

qualidade de que um produto ou serviço com qualidade só podem ser produzidos através de

atos e/ou decisões conscientes e deliberados das pessoas envolvidas. Todos estes atos e

decisões precisam ter como objetivo a efetivação da qualidade desejada, pois ela

simplesmente não acontece por acaso.

Já de acordo com a Norma NBR 13596 (ABNT, 1996), qualidade é a totalidade das

características de uma entidade, que lhe confere a capacidade de satisfazer às necessidades

explícitas e implícitas.

Apesar de ser uma área relativamente recente, algumas técnicas e métodos para

assegurar e avaliar a usabilidade de sistemas tradicionais já se encontram bastante difundidas.

De acordo com Lima et al. (2001), usabilidade é o termo técnico usado para descrever a

qualidade de uso de uma interface. A tendência atual em avaliação é tentar identificar os

problemas de usabilidade tão cedo eles possam ocorrer, para que, uma vez encontrados,

possam ser solucionados totalmente, sendo que, caso não se obtenha sucesso através desta

medida, que pelo menos possa ter seus efeitos ao máximo minimizados.

Existem atualmente uma série de métodos de avaliação que podem ser utilizados em

diferentes etapas de desenvolvimento de sites, mas preferencialmente há a utilização de mais

algum outro método em conjunto, pois faz-se necessário também a avaliação e o

acompanhamento das alterações de conteúdo, tão constantes, bem como de mudanças na

Page 17: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

população de usuários e inclusões de problemas de usabilidade às interfaces durante a

manutenção das mesmas.

Enfim, de acordo com cada definição percebe-se de que o termo qualidade pode-se

definir através das mais variadas visões, mas o mais importante é de que todas duma mesma

coisa comungam: a objetividade pelo melhor e a busca incessante pela ausência de erros.

Os usuários podem realizar várias atividades em um site, como pesquisar informações,

comprar produtos, transferir dados. Determinar estes objetivos é fundamental para o projeto

de interface do usuário e avaliação da usabilidade de um site.

De qualquer maneira, a informação é sempre um tema central. Considerando as

mudanças no comportamento dos usuários, que deixaram de navegar aleatoriamente e

passaram a buscar informações específicas, alguns estudos de usabilidade se concentram em

avaliar a qualidade e organização das informações em um site.

Conforme ilustrado em Spool et al. (1997), um teste de usabilidade realizado pela

User Interface Engineering apontou resultados surpreendentes. Neste teste, usuários

habituados a utilizar browsers deveriam localizar sites específicos, no sentido de localizar as

informações necessárias para responder um questionário. Eles foram observados por

especialistas em usabilidade que, comparando o desempenho dos usuários em cada site e seu

respectivo projeto de interface, chegaram as seguintes conclusões:

- não há nenhuma evidência de que o projeto gráfico auxilie o usuário a localizar

informações em um site;

- links textuais são fundamentais em um site. Alguns tipos de links são mais eficazes

que outros, mas mais importante do que o estilo é o grau de indicação do conteúdo

das páginas as quais eles conduzem;

- ao navegar aleatoriamente pela web, os usuários procuram páginas mais

interessantes ou visualmente atraentes. Quando procuram informações específicas,

vários elementos gráficos são considerados como fatores que provocam distração,

animações por exemplo são considerados fortemente irritantes;

- sites não são como os softwares tradicionais e os métodos e técnicas de usabilidade

aplicáveis nem sempre se aplicam aos sites ou cobrem todos os seus atributos.

Page 18: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

2.1.1 QUESTIONÁRIOS Segundo Winckler & Pimenta (2002), questionários são ferramentas muito úteis na

avaliação da interação entre o usuário e a interface. São utilizados para coletar informações

subjetivas sobre dados do perfil dos usuários, a qualidade da interface e quais problemas são

encontrados no seu uso. Estas informações são tão importantes quanto a performance no uso

do sistema, e não podem ser obtidas de outra forma senão perguntando aos usuários. O uso de

questionário dá ao avaliador a vantagem de aplicar vários testes ao mesmo tempo em locais

diferentes. Questionários podem ser úteis de diferentes maneiras dentro do desenvolvimento

de interfaces web como, por exemplo, para:

- identificar o perfil dos usuários: o objetivo deste tipo de questionário é basicamente

coletar informações sobre os usuários. Tais informações podem ser de origem

funcional, pessoal, sobre preferências ou mesmo sobre a utilização de

computadores e sistemas. Obviamente outras questões podem se adicionadas para

fins específicos de avaliação;

- determinar o grau de satisfação dos usuários com relação a interface: questionários

específicos para descobrir a satisfação de usuários vêm sendo pesquisados desde a

década de 80, e uma versão específica para sites web tem sido desenvolvida sobre o

nome de wammi (disponível por http://www.wammi.com);

- estruturar informações sobre problemas de usabilidade identificados por usuários,

na forma de questionários para relato de incidentes críticos.

Pode-se ainda utilizar questionários para estruturar avaliações com o usuário, onde o

usuário deve utilizar a interface de modo a poder responder as questões. Neste caso, as

perguntas devem ser definidas antes do teste e adaptadas a cada contexto de avaliação.

Uma das grandes vantagens de questionários é a possibilidade de aplicá-los à um

grande número de usuários aos mesmo tempo, utilizando o próprio ambiente web através de

formulários eletrônicos.

2.1.2 LIÇÃO FUNDAMENTAL: CONHECER O USUÁRIO

Para Mayhew (1992) o princípio fundamental do design de interfaces, do qual derivam

todos os outros, é conhecer o usuário. O erro mais comum entre desenvolvedores seria fazer

Page 19: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

duas pressuposições: primeiro, que todos os usuários são iguais; segundo, que todos os

usuários são iguais ao próprio desenvolvedor. Essas pressuposições errôneas levam às

conclusões de que: se a interface for fácil de aprender e de usar para o desenvolvedor, ele

também o será para o usuário final e, que se a interface for aceitável para um ou dois usuários,

ela será da mesma forma para todos. Nada poderia estar mais longe da verdade. De fato, a

dimensão do conhecimento e da experiência é um contínuo: existe um número grande de tipos

de conhecimentos e de experiências que devem ser considerados. São exemplos: o nível

educacional, o nível de leitura, a digitação, a alfabetização tecnológica, a experiência na tarefa

(conhecimento semântico), a experiência no sistema (conhecimento sintático), a experiência

no aplicativo, a língua-mãe e o uso de outros sistemas informatizados.

Para Scapin et al. (1998), a experiência do usuário deve ser levada em conta nos vários

níveis de interações: a interface deve se adaptar a eles: “Usuários experientes e inexperientes

têm necessidades informacionais distintas. Pode ser desejável oferecer ao inexperiente uma

explicação passo-a-passo das ações. Quanto à organização da informação, é necessário

desenhar o hipertexto para os diferentes tipos de usuários e níveis de experiências. Quanto às

ações, deve-se guiar o novato através de passos progressivos, permitindo aos experimentados

o by-pass (salto) de certas partes do hipertexto, com caminhos múltiplos para atingir

diretamente o seu destino”.

Na visão de Lynch & Horton (1999) os usuários se subdividem em surfistas da web;

usuários novatos e ocasionais; usuários freqüentes (experts); e usuários internacionais.

Surfistas por exemplo, precisam de home-pages análogas a capas de revistas. Usuários

novatos e ocasionais tendem a se sentir intimidados com menus de texto. Já os usuários

freqüentes e experientes ficam irritados com exageros visuais; como eles têm objetivos

definidos, apreciarão menus de textos detalhados e rápidos, além de engenhos de busca bem

programados e poderosos.

2.1.3 CONSIDERAÇÕES SOBRE QUALIDADE

Como forma de sistematizar o conceito de qualidade, Nóbrega (1994) apresenta oito

dimensões sob as quais a qualidade pode ser definida:

a) desempenho: referindo-se às características operacionais básicas de um produto;

Page 20: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

b) característica funcional básica: suplementam o funcionamento básico de um

produto;

c) confiabilidade: probabilidade de mau funcionamento de um produto;

d) conformidade: grau em que o projeto e as características de um produto estão de

acordo com as especificações;

e) durabilidade: tempo de uso de um produto antes de se deteriorar fisicamente;

f) atendimento: rapidez, cortesia e facilidade na execução de reparos;

g) estética: aspectos perceptíveis pelos cinco sentidos humanos;

h) qualidade: presente no produto que é percebida pelo cliente.

O processo de seleção de um produto dificilmente envolve todos os aspectos citados,

pois muitos consumidores ou usuários atentam apenas para determinados detalhes, até certo

ponto desprezíveis muitas vezes e deixam de considerar aspectos importantes. Analisando

este fato e colocando-o no campo da avaliação, chega-se a conclusão de que é importante que

a avaliação atinja todos os aspectos que constituem aquilo que está sendo avaliado, para que

os resultados finais reflitam realmente a verdade referente a situação encontrada.

2.2 NORMA DA QUALIDADE Segundo Mills (1994), um aspecto interessante da qualidade é que não basta que ela exista. Ela deve ser

reconhecida pelo cliente. Por causa disso, é necessário que exista algum tipo de certificação oficial, emitida com base em um padrão. Alguns dos certificados mais comuns atualmente:

· O selo do SIF de inspeção da carne; · O selo da ABIC nos pacotes de café; · O certificado da Secretaria de Saúde para restaurantes (classe "A" são os melhores); · A classificação em estrelas dos hotéis (hotéis com cinco estrelas são ótimos); · Os certificados de qualidade da série ISO-9000. Muitas propagandas de empresas falam de sua certificação ISO-9000. Isto nada mais é do que um

padrão de qualidade (reconhecido mundialmente) pelo qual esta empresa foi avaliada e julgada. Para que seja possível realizar uma avaliação e um julgamento, é necessário haver um padrão ou norma. Existem alguns organismos normalizadores reconhecidos mundialmente:

· ISO – International Organization for Standardization · IEEE – Instituto de Engenharia Elétrica e Eletrônica · ABNT – Associação Brasileira de Normas Técnicas A norma ISO-9000, por exemplo, foi criada pela ISO para permitir que todas as empresas do mundo

possam avaliar e julgar sua qualidade. Existindo um padrão único mundial, uma empresa do Brasil, mesmo não tendo nenhum contato com uma outra empresa na Europa, pode garantir a ela a qualidade de seu trabalho.

A norma NBR 13596 (ABNT, 1996) é a versão brasileira da ISO/IEC 9126:

Page 21: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Tecnologia de informação – Avaliação de produto de software – Características de qualidade

e diretrizes para o seu uso. Esta norma define seis características que descrevem, com um

mínimo de sobreposição, qualidade de software. Essas características são: Funcionalidade,

Confiabilidade, Usabilidade, Eficiência, Manutenibilidade e Portabilidade. Elas fornecem

uma base para posterior refinamento e descrição de qualidade de software.

Segundo Weber et al. (2001) um dado preocupante em relação à esta importante

norma internacional de qualidade, que foi publicada em 1991, é de que em 1999 foi

organizada uma pesquisa junto à 445 empresas brasileiras, e apurou-se de que 63,8% sequer a

conheciam; 26,8 conheciam mas não a utilizavam e apenas 9,4% conheciam e a utilizavam.

2.2.1 CARACTERÍSTICAS DA QUALIDADE

Lynch & Horton (1999) descrevem as características desejáveis dentro da qualidade

para sites da web, considerando que os usuários de documentos web não buscam apenas

informação, mas interagem com esses documentos de uma nova forma que não tem

precedentes com os documentos impressos em papel. O autor recomenda, ainda, que o projeto

seja centrado nos usuários em potencial, buscando atender às suas expectativas.

Utilizando-se da norma NBR 13596 (ABNT, 1996), Pressman (2000) definiu para a

avaliação de sites a “Árvore de Características de Qualidade de Aplicações Web” que foi

adotada neste trabalho como base principal no processo de avaliação de sites acadêmicos. Na

seqüência será discutido cada tópico envolvido, bem como sub-tópicos constituintes deste

modelo, conforme ilustrado na figura 01.

Page 22: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Qualidade deAplicações

Web

Funcionalidade

Usabilidade

Confiabilidade

Eficiência

Manutenibilidade

FIGURA 01 – DIAGRAMA DE CARACTERÍSTICAS DE QUALIDADE WEB

Na figura 01 é apresentada o topo da Árvore de Pressman com suas respectivas

ramificações principais.

2.2.1.1 USABILIDADE

A usabilidade representa o conjunto de atributos do site, relacionado ao esforço

necessário para seu uso e para o julgamento individual de tal uso por um conjunto

determinado de usuários. É sem dúvidas o tópico mais conhecido e comentado de todos, pois

é comum encontrar em livros e monografias a avaliação específica apenas deste ítem, tal a sua

importância no sentido avaliador, ilustrada através da figura 02.

Page 23: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 02 – DIAGRAMA DE CARACTERÍSTICAS DA USABILIDADE

Na seqüência são apresentadas as descrições para cada sub-característica:

Entendimento Global do Site: Compreende o funcionamento do site como um todo.

Avaliação resumida do conteúdo colocado a disposição e análise de sua distribuição.

Feedback e Help On-Line: Comunicação do site para com o usuário. Existência de

suporte, principalmente nos momentos mais delicados (exemplo transação de operações).

Características Estéticas e de Interface: Organização das informações, coerência nos

títulos e forma de colocá-los no sentido de não atrapalhar o usuário.

Características Especiais: Acessórios importantes em um site, como sumário das

informações e data referente a última atualização de conteúdo.

Usabilidade

Entendimento Global do Site

Feedback e Help On-Line

Características Estéticas e de Interface

Características Especiais

Page 24: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

2.2.1.2 FUNCIONALIDADE

A funcionalidade representa o conjunto de atributos do site que influenciam na

existência de um conjunto de funções que satisfaçam necessidades implícitas, e suas

propriedades específicas. As funções são aquelas que satisfazem estados ou necessidades

implicadas conforme ilustrada na figura 03.

FIGURA 03 – DIAGRAMA DE CARACTERÍSTICAS DA FUNCIONALIDADE

Na seqüência são apresentadas as descrições para cada sub-característica:

Capacidade de Busca e Recuperação: Ferramenta de pesquisa embutida no site com a

intenção de facilitar a localização das informações.

Características de Navegação e Browser: Procedimentos efetuados durante toda a

navegação. Barreiras encontradas muitas vezes quando deveriam de ser ítens de

sobrevivência.

Características Relacionadas ao Domínio da Aplicação: Parte prática do site.

Facilidades do tipo impressão correta das informações. Detalhes extremamente úteis que

muitos sites infelizmente na maioria das vezes não oferecem.

Funcionalidade

Capacidade de Busca e Recuperação

Características de Navegação e Browser

Características Relacionadas ao Domínio da Aplicação

Page 25: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Confiabilidade

Processamento Correto de Links

Recuperação de Erros

Validação e Recuperação de Input do Usuário

2.2.1.3 CONFIABILIDADE

A confiabilidade representa o conjunto de atributos que evidenciam a capacidade do

site de manter seu nível de desempenho sob condições estabelecidas durante um período de

tempo estabelecido, conforme ilustrado na figura 04.

FIGURA 04 – DIAGRAMA DE CARACTERÍSTICAS DA CONFIABILIDADE

Na seqüência são apresentadas as descrições para cada sub-característica:

Processamento Correto de Links: Disposição de links colocados no site em levarem

realmente para o lugar desejado, conforme descrito na própria página.

Recuperação de Erros: Ocorrência de erros durante a navegação.

Validação e Recuperação de Input do Usuário: Transmissão de conteúdo para o

usuário. Termos que dificultam a compreensão.

2.2.1.4 EFICIÊNCIA

A eficiência significa a precisão e completeza com que os usuários atingem seus

objetivos em relação à quantidade de recursos gastos, conforme ilustrado na figura 05.

Page 26: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Eficiência

Desempenho do Tempo de Resposta

Velocidade da Geração de Páginas

Velocidade da Geração de Gráficos

FIGURA 05 – DIAGRAMA DE CARACTERÍSTICAS DA EFICIÊNCIA

Na seqüência são apresentadas as descrições para cada sub-característica:

Desempenho do Tempo de Resposta: Execução de aplicativos a disposição no site.

Categorias diferentes de usuário em relação aos objetivos de utilização do site.

Velocidade da Geração de Páginas: Tempo de espera para carregamento de páginas.

Diferença entre tempos em relação ao conteúdo das páginas.

Velocidade da Geração de Gráficos: Tempo de espera para carregamento de gráficos.

Diferença entre tempos em relação ao carregamento dos gráficos, muitas vezes de mesma

proporcionalidade mas com tempos distintos.

2.2.1.5 MANUTENIBILIDADE

A manutenibilidade representa os atributos do site que influenciam nos recursos

necessários para serem efetuadas modificações específicas conforme ilustrado na figura 06.

Page 27: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Manutenibilidade

Facilidade de Correção

Adaptabilidade

Extensibilidade

FIGURA 06 – DIAGRAMA DE CARACTERÍSTICAS DA MANUTENIBILIDADE

Na seqüência são apresentadas as descrições para cada sub-característica:

Facilidade de Correção: Aplicação de ações corretivas em erros encontrados.

Dificuldade ou facilidade ?

Adaptabilidade: Em relação ao conteúdo do site, adaptações no sentido de

melhoramento de suas funções.

Extensibilidade: Implementação de extensões em relação a deficiências encontradas

no site durante a navegação.

2.2.2 AVANÇOS DA TECNOLOGIA Da mesma forma com que a área da informática como um todo se atualiza, inserido

neste contexto, logicamente que a Internet participa ativamente deste processo, sendo

inclusive com toda certeza uma das maiores percursoras hoje neste quesito, haja visto o

grande hall de tecnologias disponíveis, bem como associando-se diariamente em todo o

mundo.

Portanto é necessário que além de se proceder a avaliação, há também de que entender

o grupo de usuários existentes, pois segundo Fleming (1998) um site só será bem sucedido se

ele der suporte adequado às intenções e aos comportamentos do seu usuário específico. Já de

acordo com Gribbons (2002), o que constitui hoje uma boa interface, amanhã, ou daqui a

cinco anos, será algo totalmente diferente. Para tanto, identificou-se cinco grandes grupos de

usuários de tecnologia:

Page 28: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

1) O usuário hoje – nos anos 80, o usuário médio utilizava de três a quatro pacotes de

softwares corporativos: uma década depois, está utilizando oito a dez pacotes de

software. Os programas sofrem freqüentes atualizações, oferecendo mais

funcionalidades. É fácil imaginar que rapidamente se atingirá o limite do indivíduo,

em termos de capacidade de adaptação e aprendizado;

2) Funcionalmente iletrados – os desafios mais significativos são a inabilidade do

usuário funcionalmente iletrado de assumir a carga de aprender, operar e manter o

sistema. Esse grupo em geral não possui a habilidade cognitiva de se ajustar a um

sistema que falha em espelhar as suas necessidades. Outros problemas são a

capacidade restrita de memória, a dificuldade de ler instruções impressas e a

inabilidade de estruturar e organizar uma tarefa. O benefício ganho ao se atingir as

necessidades dos funcionalmente iletrados seria imediatamente disseminado para

todos os outros usuários;

3) Usuários internacionais – Há alguns anos atrás, os produtores de software dos

Estados Unidos passaram a obter 65% de seu faturamento de vendas

internacionais. Os campos de comunicação intercultural e de design sugerem áreas

a serem desenvolvidas: padrões de leitura, simbolismo de cores, simbolismo de

ícones, tradição de design, conceituação do tempo, contextualização e padrões de

comunicação;

4) Terceira idade – em termos cognitivos, os mais velhos passam pela experiência de

uma memória em declínio. Fisicamente, trabalhadores mais velhos têm problemas

associados à perda da acuidade visual, particularmente relacionada à visualização

de textos e uma habilidade decrescente em detectar cores. Esse trabalhador terá

dificuldades com controle motor, o que causa problemas em mecanismos de input,

como o mouse. Deve-se incluir essa parcela crescente da população nos testes de

usabilidade de interfaces, o que tem sido incomum até o momento;

5) Juventude – padrões de comportamento pesquisados sugerem que os jovens

apreendam o sistema através da interação. Beneficiam-se de uma interação

multissensorial (verbal, auditiva, etc.) que vai muito além da percepção corrente

(baseada em controles verbais ou simplesmente gráficos). Seu aprendizado brota

da interação com o sistema. Este grupo trará as maiores e revolucionárias

Page 29: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

mudanças ao conceito de usabilidade, pois cresceu profundamente condicionado

pelas novas mídias.

2.3 TRABALHOS CORRELATOS

Dentre as pesquisas efetuadas na busca por trabalhos correlatos, encontrou-se a

monografia do acadêmico Zunino (2002), que mede o nível de satisfação dos internautas em

relação ao site da Universidade Regional de Blumenau, sendo que para tanto efetuou-se de

pesquisa exploratória junto a aproximadamente cem acadêmicos que possuem e-mail’s

vinculados ao servidor da Furb, propondo aos mesmos a resolução de um questionário

composto por treze questões, entre perguntas objetivas e subjetivas visando desta forma

chegar ao resultado.

Ao final percebeu-se que, após serem efetuados os cálculos referente as apurações, de

que praticamente 64% dos alunos entrevistados demonstraram-se satisfeitos com o conteúdo

do site, porém alguns destes mesmo assim fizeram questão de acrescentar sugestões de

melhoria em diversos itens, bem como de sugerir novas implementações a serem

urgentemente efetuadas no sentido de atingir um grau de satisfação ainda maior.

Trabalho semelhante diz respeito ao aplicativo TOWABE, uma ferramenta

implementada para Avaliação de Usabilidade em Aplicações WEB, segundo Itakura &

Vergilio (2001). Este programa integra mais de uma técnica de avaliação de usabilidade:

questionário de satisfação do usuário, inspeção de usabilidade utilizando check-list e card

sorting. Esse fato permite que os relatórios, gerados automaticamente pelo TOWABE, sejam

analisados sob diferentes perspectivas, explorando aspectos complementares das técnicas

implementadas. Resultados de um estudo de caso comprovam este fato e apontam outras

vantagens de utilização da ferramenta.

Outro trabalho encontrado descreve como a Norma ISO/IEC 14598-5 pode ser

utilizada na avaliação de qualidade de hiperdocumentos web. Devido a sua generalidade,

observa-se a necessidade de considerar aspectos inerentes ao tipo da aplicação. Foi realizado

um estudo de caso em que hiperdocumentos web foram avaliados considerando-se métricas

estruturais. A abordagem utilizada no estudo de caso inclui “Sistemas de Aprendizado de

Máquina” de forma a ajudar webmasters a interpretar os resultados obtidos (Fortes, 2001).

Page 30: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3 DESENVOLVIMENTO DO TRABALHO

Na seqüência são apresentadas as etapas que constituíram a implementação do site

ASA – Avaliador de Sites Acadêmicos, um dos objetivos deste Trabalho de Conclusão de

Curso, e criado especialmente para tal finalidade. Optou-se por este título e sua respectiva

sigla em razão da facilidade de compreensão que os mesmos oferecem ao leitor ao tentar

compreender o seu funcionamento.

3.1 REQUISITOS

Para a implementação do ASA – Avaliador de Sites Acadêmicos, foi utilizada a

“Árvore de Características da Qualidade para Web” de Pressman (2000), ao qual contempla a

NBR 13596 (ABNT, 1996) com alguns pequenos ajustes para o devido enquadramento na

categoria de sites acadêmicos. As questões pertinentes a cada tópico foram retiradas de Rocha

et al. (2001) e Winckler & Pimenta (2002), respeitando-se os temas e a abrangência de uma

avaliação de sites no sentido de contemplá-la por inteiro.

Para o roteiro proposto deveria ser criado um software, no qual se optou por um site

que de maneira dinâmica contemplaria mais facilmente todas as exigências no sentido de

auxiliar o avaliador para uma boa utilização da ferramenta.

As características utilizadas para o roteiro foram:

1. Usabilidade:

1.1 Entendimento Global do Site;

1.2 Feedback e Help On-line;

1.3 Características Estéticas e de Interface;

1.4 Características Especiais.

2. Funcionalidade:

2.1 Capacidade de Busca e Recuperação;

Page 31: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

2.2 Características de Navegação e Browser;

2.3 Características Relacionadas ao Domínio da Aplicação.

3. Confiabilidade:

3.1 Processamento Correto de Links;

3.2 Recuperação de Erros;

3.3 Validação e Recuperação de Input do Usuário.

4. Eficiência:

4.1 Desempenho do Tempo de Resposta;

4.2 Velocidade da Geração de Páginas;

4.3 Velocidade da Geração de Gráficos.

5. Manutenibilidade:

5.1 Facilidade de Correção;

5.2 Adaptabilidade;

5.3 Extensibilidade.

6. Acadêmico.

3.2 ESPECIFICAÇÃO

Optou-se neste trabalho pela especificação dos Casos de Uso, descrição dos Casos de

Uso, diagrama Hierárquico Funcional, diagrama de Entidade-Relacionamento. No anexo II

encontra-se um diagrama de Navegabilidade.

Como ferramenta CASE foi utilizada a ferramenta Rational Rose/C++ Versão 4.0.3, pois trata-se de um aplicativo bastante utilizado no meio acadêmico.

Page 32: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.2.1 DIAGRAMA DE CASOS DE USO

Conforme Fowler & Scott (2000), o diagrama de Casos de Uso é uma ferramenta

essencial na captura de requisitos. A figura 07 ilustra os três casos de uso do sistema ASA.

FIGURA 07 – DIGRAMA DE CASO DE USO

A descrição de cada Caso de Uso é vista a seguir:

Cadastrar Avaliador: este caso expressa as configurações que o usuário terá de realizar

no sistema, tais como seu nome, e-mail e site a ser avaliado.

Proceder Avaliação: indica a realização de todo o processo de avaliação, incluindo a

seleção de tópicos e sub-tópicos a serem avaliados, culminando com a fase de resposta as

perguntas realizadas.

Gerar Resultados: é a última ação do sistema, onde o usuário toma ciência das notas

finais por tópico e da média geral, tendo uma noção da real situação de seu site.

3.2.2 DIAGRAMA HIERÁRQUICO FUNCIONAL

O Digrama Hierárquico Funcional é apresentado na Figura 08. Ele consiste na

organização das principais funções. Primeiramente tem-se o Menu Principal constituído de

Cadastrar Avaliador

Proceder Avaliação

Gerar Resultados

Usuário

Page 33: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

ASA

Avaliação Dicas Links SobreAjuda

Ajuda

Código

Incluir

Tópicos Sub-Tópicos

Questões

NotasGera Código

Site

suas várias opções. Caso escolha-se a opção Avaliação abre-se o segundo menu, que é o

Menu de Avaliação. Neste menu tem a opção Avaliar, que é a porta de entrada para avaliação.

Então abre-se o terceiro menu deste conjunto que é o Menu Tópicos da Qualidade, aonde de

acordo com os tópicos que o avaliador selecionou, abrirão os menus com os sub-tópicos

correspondentes e conseqüentemente suas respectivas questões para serem respondidas. Ao

final, como última tela, o usuário tomará ciência das notas referentes a avaliação efetuada.

FIGURA 08 – DIAGRAMA HIERÁRQUICO FUNCIONAL

Uma outra forma de representação, inclusive com um nível maior de detalhamento, foi

ilustrado através do diagrama de Navegabilidade, conforme exposto no Anexo II deste

trabalho. Ele demonstra passo-a-passo as diversas opções de personalização da avaliação em

Page 34: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

si, desde as escolhas dos tópicos a serem avaliados, passando pelos sub-tópicos, questões até

especificamente culminar nas notas finais.

3.2.3 DIAGRAMA DE ENTIDADE-RELACIONAMENTO

Na Figura 09 o diagrama de Entidade-Relacionamento ilustra as entidades utilizadas

no sistema juntamente com seus respectivos relacionamentos, demonstrando também os

atributos de cada entidade pertencentes ao Avaliador ASA.

FIGURA 09 – DIAGRAMA DE ENTIDADE-RELACIONAMENTO

3.3 ASPECTOS DA IMPLEMENTAÇÃO

Basicamente a implementação foi constituída de três etapas:

- Codificação de parte do aplicativo em uma linguagem de orientação a objeto;

- Codificação de parte do aplicativo em uma linguagem voltada a internet;

Contém

Têm

Pertence

Possui

VerificaAvalia

Efetua

Avaliador

CódigoNomeEmail

Site

CódigoNomeEndereço

Tópico

CódigoDescrição

Avaliação

NúmeroDataHora

Sub_Tópico

CódigoDescrição

Resposta

ValorPergunta

CódigoDescrição

Page 35: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

- Comunicação entre as duas plataformas e exposição on-line do resultado final.

Na escolha pelas ferramentas que seriam utilizadas, o único pré-requisito estabelecido

foi o de que teriam que ser aplicativos auxiliares voltados a Internet, até porque trata-se de um

site, portanto mesmo com toda uma infra-estrutura de suporte o que muitas vezes o aparentava

ser um software local, na grande verdade tornou-se uma solução que teria que estar sempre

operando on-line através da internet. Portanto foi baseado nisto que foram selecionadas as

ferramentas descritas no ítem seguinte.

O aplicativo implementado denomina-se ASA – Avaliador de Sites Acadêmicos,

criado através da ferramenta de programação Borland Delphi Enterprise Versão 5.0

juntamente com o banco de dados Paradox, conforme sugerido na obra de Cantú (2000),

aplicativo muito conhecido do grande público e que dispensa maiores comentários,

principalmente básicos sobre o seu funcionamento, mas para tanto, vale a pena recomendar a

obra de Franklint (1999), o qual destaca a sua interação com a grande rede mundial de

computadores, propósito total do ASA.

Em relação à plataforma escolhida para publicação da página na Internet, nesta

integração com o Borland Delphi 5.0, adotou-se por conveniência a linguagem de hipertextos

HTML (HyperText Markup Language).

Para realizar a comunicação entre o servidor de Internet e a aplicação implementada,

visando colocá-la a disposição da grande comunidade internauta, utilizou-se do PWS -

Microsoft Personal Web Server 4.0. Segundo Facunte (2000), o PWS transforma qualquer

computador com o Windows 95 ou Windows 98 em um servidor Web e permite a publicação

rápida de páginas particulares da Web. Fácil de instalar e administrar, o PWS pode simplificar

o compartilhamento de informações em intranets corporativas ou na internet para todos os

usuários. O PWS é ideal para publicação de baixo volume e ponto a ponto na Web.

3.3.1 TRECHOS DA IMPLEMENTAÇÃO

A seguir são apresentados alguns trechos importantes do código de implementação do

ASA:

Page 36: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.3.1.1 VALIDAÇÃO DO CÓDIGO DO AVALIADOR

Esta rotina tem por finalidade conferir código digitado para verificar o avaliador que

está querendo proceder a avaliação.

FIGURA 10 – VALIDAÇÃO DE CÓDIGO

procedure TWebModule1.WebModule1topicosAction(Sender: TObject;

Request: TWebRequest; Response: TWebResponse;

var Handled: Boolean);

begin

try

// Verificação do Código Digitado (se realmente existe):

Avaliador:= StrToInt(Request.ContentFields.Values['CODIGO']);

tabAvaliador.IndexName := 'icodigo'; // Compara Código Digitado com o Armazenado.

if tabAvaliador.FindKey([Avaliador]) Then // Caso o Código Digitado for Verdadeiro...

// Ativa tela “Tópicos”:

Response.Content:=PageProducer4.Content // Chama Arquivo HTML (Tópicos)

Else // Caso o Código não for Verdadeiro parte para Primeiro Tratamento de Exceção...

Response.Content:= ...Chama Tela HTML

except // Parte para Segundo Tratamento de Exceção.

Response.Content:= ...Chama Tela HTML

end;

end;

3.3.1.2 SELEÇÃO DOS TÓPICOS

Esta rotina trata da escolha dos tópicos a serem avaliados. Dentre as seis opções o

avaliador escolhe entre uma ou mesmo as seis. A escolha pode ser totalmente aleatória, não

necessita seguir uma ordem expressa, vai da preferência de cada um. A figura 11 expressa

esta parte:

Page 37: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 11 – SELEÇÃO DOS TÓPICOS DA QUALIDADE

if ( tabTopicos.FieldByName('Usab').AsString = 'X' ) and (MostrouPagina = 'N') then

Begin

MostrouPagina := 'S';

// Chamar Página Usabilidade

Response.Content := PageProducer5.Content;

end;

if (tabTopicos.FieldByName('Func').AsString = 'X') and (MostrouPagina = 'N') then

Begin

MostrouPagina := 'S';

// Chamar Página Funcionalidade

Response.Content := PageProducer6.Content;

end;

if (tabTopicos.FieldByName('Conf').AsString = 'X') and (MostrouPagina = 'N') then

Begin

MostrouPagina:= 'S';

// Chamar Página Confiabilidade

Response.Content:= PageProducer7.Content;

end;

if (tabTopicos.FieldByName('Efic').AsString = 'X') and (MostrouPagina = 'N') then

Begin

MostrouPagina:= 'S';

// Chamar Página Eficiência

Response.Content:= PageProducer8.Content;

end;

if (tabTopicos.FieldByName('Manu').AsString = 'X') and (MostrouPagina = 'N') then

Begin

MostrouPagina:= 'S';

//Chamar Página Manutenibilidade

Response.Content:= PageProducer9.Content;

end;

If MostrouPagina = 'N' Then

Response.Content:=PageProducer26.Content;

Except // Mensagem de Ocorrência de Erro !

Response.Content:='Ocorreu um erro - Contacte com o Administrador !'

end;

Page 38: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.3.1.3 CÁLCULO DA NOTA DE SUB-TÓPICO

Esta rotina calcula a nota final por sub-tópico, de acordo com os tópicos de preferência

que o usuário avaliador selecionou. Foi implementada com o intuito de facilitar a visualização

e facilitar a compreensão do resultado final, auxiliando na identificação dos erros / virtudes do

site avaliado.

FIGURA 12 – CÁLCULO DA NOTA POR SUB-TÓPICO

if tabPerguntas.FieldByName('P01').AsString = 'S' then

r:= r+3; // Caso Resposta afirmativa na questão 01, variável nota recebe 3...

if tabPerguntas.FieldByName('P01').AsString = 'N' then

r1:= 10;

if tabPerguntas.FieldByName('P02').AsString = 'S' then

r:= r+3;

if tabPerguntas.FieldByName('P02').AsString = 'N' then

r1:= 10;

if tabPerguntas.FieldByName('P03').AsString = 'S' then

r:= r+4; // Chegando neste ponto, se todas as questões forem verdadeiras, nota = 10.

if tabPerguntas.FieldByName('P03').AsString = 'N' then

r1:= 10;

if (r > 0) or (r1 = 10) then

begin

saramos:= saramos+1;

tabPerguntas.delete;

end;

3.3.1.4 CÁLCULO DA NOTA POR TÓPICO

Esta rotina calcula a nota final de cada tópico selecionado. Para isto somam-se as notas

finais de cada sub-tópico pertencente e a partir de uma média simples extrai-se a nota final de

determinado tópico avaliado.

Page 39: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 13 – CÁLCULO DA MÉDIA FINAL DO TÓPICO

if saramos > 0 then

begin

somaras:= (m+o+p+r) / saramos; // Média das notas dos Sub-Tópicos

somaras:=strtofloat(formatfloat('0.00',somaras));

tabNotas.FieldByName('Usa').AsFloat:=somaras

end

Else

tabNotas.FieldByName('Usa').AsFloat:=0.00; // Caso Tópico não tenha sido escolhido !

3.3.1.5 CÁLCULO DA MÉDIA FINAL

Esta rotina tem por objetivo calcular o momento mais esperado de uma avaliação, a

sua nota final. Para tanto a rotina pega as notas calculadas pelos sub-tópicos e de acordo com

o número de selecionados pelo usuário calcula a média final, conceituando com esta

atribuição a situação atual do site. Vale a pena ressaltar que cada tópico tem o mesmo peso no

cálculo da média final, não importando portanto de maneira nenhuma a ausência de algum

destes no processo de avaliação do site.

FIGURA 14 – CÁLCULO DA MÉDIA FINAL DO SITE

// Análise de quais Tópicos foram Avaliados...

if saramos > 0 then

y := Y+1;

if aramos > 0 then

y := Y+1;

if ramos > 0 then

y := Y+1;

if amos > 0 then

y := Y+1;

if mos > 0 then

y := Y+1;

// Efetua o Cálculo da Média Final

x:=(so+som+soma+somar+somara+somaras) / y; // Div. das Notas pelo nr. de Tópicos Relacionados

x:=strtofloat(formatfloat('0.00',x));

tabNotas .FieldByName('Total').AsFloat:=x;

Page 40: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.3.2 OPERACIONALIDADE DA IMPLEMENTAÇÃO

Para validar o site criado e conseqüentemente o processo de Avaliação de Sites

Acadêmicos (ASA), foi procedida a avaliação de três sites de cursos de Computação de três

universidades: FURB, UFSC e UNIVALI. Nas figuras 15, 16 e 17 são apresentados os

respectivos sites:

FIGURA 15 – SITE DA FURB

FIGURA 16 – SITE DA UFSC

Page 41: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 17 – SITE DA UNIVALI

Na seqüência são apresentadas as etapas resumidas ilustrando a realização da

avaliação através do aplicativo ASA. Inicialmente, conforme ilustrado na figura 18 tem-se o

“Menu Principal” que dispõe-se de cinco opções, das quais, a opção “Avaliação” dará início

ao processo de avaliação.

FIGURA 18 – TELA DE ABERTURA DO SITE - ASA

Page 42: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

A figura 19 serve como ilustração de uma tela sem ramificações no “Menu Principal”,

onde tem-se a opção “Dicas”, que traz uma série de informações ao avaliador no sentido de

fornecer-lhe subsídios interessantes para implementação de sites.

FIGURA 19 – TELA DE DICAS SOBRE IMPLEMENTAÇÃO DE SITES - ASA

A figura 20 demonstra uma pequena, mas prática tela de “Ajuda”, dando rápidas

introduções em relação às opções disponíveis no “Menu Principal”.

FIGURA 20 – TELA DE AJUDA DO MENU PRINCIPAL - ASA

Page 43: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

A figura 21 apresenta a próxima tela em relação a opção descrita anteriormente

“Avaliação” . Nela dispõem-se do “Menu do(a) Avaliador(a)” com três opções, das quais duas

“Avaliar” e “Incluir” obrigatoriamente pelo menos uma vez, o avaliador terá que passar.

FIGURA 21 – TELA DE MENU SECUNDÁRIO DO AVALIADOR - ASA.

A tela de cadastro dos dados para avaliação é demonstrada na figura 22. Ela é uma

ramificação da opção “Incluir” do “Menu do(a) Avaliador(a)”. Nesta tela o avaliador

preenche seu nome, seu respectivo e-mail, e o endereço do site que será avaliado.

FIGURA 22 – TELA DE CADASTRO DO AVALIADOR – ASA

Page 44: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Conforme ilustrado na figura 23, é gerado o Código do Avaliador, que será a chave de

acesso para o processo de avaliação.

FIGURA 23 – FORNECIMENTO DO CÓDIGO APÓS CADASTRAMENTO – ASA

Na figura 24 tem-se a tela de solicitação do Código do Avaliador, que é acessada

através da opção “Avaliar” do “Menu do(a) Avaliador(a)”. Este código solicitado é aquele

conforme gerado na figura 23 e obrigatoriamente precisa ser informado. Também é solicitado

o endereço do site a ser avaliado para personalização da tela que demonstra as notas finais.

FIGURA 24 – TELA DE ACESSO PARA O PROCESSO DE AVALIAÇÃO - ASA

Page 45: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Conforme ilustrado na figura 26, têm-se a próxima tela: “Tópicos da Qualidade” que

representa a opção inicial de escolha por parte do Avaliador dos tópicos de seu real interesse.

FIGURA 26 – TELA DE ESCOLHA DOS TÓPICOS A SEREM AVALIADOS - ASA.

Como exemplo de uma das opções selecionadas, ilustra-se a opção “Usabilidade” na

figura 27 com seus respectivos sub-tópicos a serem selecionados pelo Avaliador.

FIGURA 27 – TELA DE ESCOLHA (SUB-TÓPICOS) - ASA

Page 46: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

Após a seleção dos respectivos sub-tópicos, abre-se a tela com as questões de acordo com a

seleção efetuada, disponibilizando questionamentos com perguntas objetivas, conforme

ilustrado na figura 28. Optou-se por apenas respostas com sim ou não em virtude de facilitar o

processo de avaliação e também de colaborar na decisão do usuário, objetivando desta forma

a sua resposta. No anexo I estão todas as questões de todas as opções que o ASA dispõem.

FIGURA 28 – QUESTÕES PERTINENTES AO TÓPICO SELECIONADO – ASA

Mesmo que o Avaliador não selecione nenhum tópico na tela “Tópicos da Qualidade”

– figura 26, o processo de avaliação necessariamente passará pelas questões acadêmicas

(figura 29), que são o foco principal deste trabalho, ou seja a avaliação de sites acadêmicos.

Portanto elas contemplam perguntas referente a temas que abrangem informações básicas em

relação a um site acadêmico, conforme demonstrado em Zunino (2002).

Page 47: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 29 – QUESTÕES OBRIGATÓRIAS – ASA

Nesta fase encerram-se os questionamentos e parte-se para o resultado final. Com a

devida apuração dos dados e a divulgação das respectivas notas por tópico selecionado,

calcula-se a média final da avaliação, aí sim tendo-se uma noção mais apropriada das

deficiências e virtudes do site avaliado.

No exemplo das avaliações realizadas nos sites das universidades descrito

anteriormente, os resultados finais estão nas figuras 30, 31 e 32.

FIGURA 30 – RESULTADO (SITE DA FURB) - ASA

Page 48: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

FIGURA 31 – RESULTADO (SITE DA UFSC) - ASA

FIGURA 32 – RESULTADO (SITE DA UNIVALI) - ASA

Page 49: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.3.3 ANÁLISE

Numa breve análise dos resultados, principalmente no que diz respeito à média final,

baseado nos resultados gerados pelo ASA, nota-se de que o site que atingiu a maior nota foi o

da UNIVALI, chegando a 8,18 ao final. Dentre todos os quesitos apurados praticamente

manteve um bom nível em todos, apenas decaindo no aspecto de Usabilidade.

Em relação ao site da FURB, nota-se uma deficiência principalmente nos tópicos de

Usabilidade e Funcionalidade, atingindo notas insatisfatórias e que acabaram culminando com

a baixa da média final.

No site da UFSC observou-se praticamente as mesmas deficiências do site da FURB,

apenas levando uma pequena desvantagem no aspecto de Funcionalidade, aonde obteve uma

nota ainda inferior.

Comparando-se especificamente o site da FURB com o trabalho do acadêmico Zunino

(2002) descrito anteriormente, houve praticamente uma semelhança de observações,

principalmente se for analisado o índice de aprovação registrado por aquela pesquisa

correlacionada a média atribuída pela avaliação do ASA.

Algumas dificuldades encontradas:

- a nível pessoal: falta de experiência profissional na área;

- a nível de matéria: falta de uma material “decente” de apoio ao formando, tanto na

parte de monografia como na parte de apresentação.

Page 50: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

4 CONCLUSÕES

Levando-se em consideração os resultados obtidos, pode-se chegar a conclusão de que

os objetivos foram alcançados. O site implementado pode ser facilmente utilizado pois possui

um processo baseado em questões que abrangem várias características previstas na Norma

NBR 13596, incluindo ainda o tópico Acadêmico, onde são efetuadas perguntas referentes a

aspectos da universidade e do curso avaliado.

O site permite selecionar os tópicos do ambiente avaliador, onde o usuário ao querer

proceder apenas a avaliação de algum tópico ou quesito especial, poderá o fazer, deixando de

lado as demais opções. A única opção que é obrigatória neste conjunto de questões são as

acadêmicas, até porque está dentro do objetivo principal deste trabalho.

As ferramentas utilizadas também foram satisfatórias para a implementação deste

protótipo, somente com a ressalva de que algumas expansões necessitarão da utilização de

outras ferramentas conjuntamente ou até mesmo em caráter de substituição definitiva, pois

como qualquer outro aplicativo, apesar da boa funcionalidade destas que foram utilizadas,

elas também possuem suas limitações, como por exemplo o HTML que para criar-se uma

interface mais didática, com maiores interações, atualmente já não é o mais recomendado, em

virtude de uma série de opções que o mesmo não dispõe. Como também o Paradox, banco de

dados utilizado para armazenar as tabelas do sistema, que atualmente também não é muito

utilizado, principalmente em aplicações profissionais em virtude da fragilidade na segurança

dos dados armazenados.

Em relação ao estudo de caso efetuado, com as respectivas avaliações efetuadas das

três universidades catarinenses (UFSC, FURB e UNIVALI), na visão deste autor, os

resultados se encaixaram dentre da realidade, pois se for observado como parâmetro, as

médias finais foram consideradas de nível satisfatório. Diante deste equilíbrio a ferramenta

provou a sua eficiência e precisão na apuração dos dados, pois através da facilidade de seu

uso, conseguiu apurar todas as características avaliadas, dentro do contexto estabelecido, ou

seja, baseado na Norma NBR 13596.

Page 51: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

4.1 EXTENSÕES

Como sugestão para trabalhos futuros inclui-se a implementação de um avaliador

automático hospedado em um servidor de Internet, no sentido de que o mesmo pudesse obter

de forma automática os dados para facilitar e otimizar o trabalho do avaliador.

Além disso, poderia-se aperfeiçoar o site ASA a ponto de incluir mais perguntas,

permitir maior flexibilidade em relação a seleção das perguntas e detalhar mais os resultados

da avaliação.

Page 52: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

REFERÊNCIAS BIBLIOGRÁFICAS

ABNT - ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR 13596: tecnologia

de informação - avaliação de produto de software: características de qualidade e diretrizes

para o seu uso. Rio de Janeiro, RJ, 1996.

CANTÚ, Marco. Dominando o delphi 5: a bíblia. São Paulo, SP: Makron Books, 2000.

FACUNTE, Emerson. Delphi 5 comércio eletrônico. 2000. São Paulo, SP: Ed. Brasport,

2000.

FLEMING, Jennifer. Web navigation: designing the user experience. Sebastopol: O’Reilly,

1998.

FORTES, Renata P. de M. et al. Utilizando a norma ISO/IEC 14598-5 na avaliação de

qualidade de hiperdocumentos web. In: I Simpósio Brasileiro de Qualidade de Software, 1.,

2002, Anais... Gramado, RS: UFRGS, 2002. p. 128-142.

FOWLER, Martin; SCOTT, Kendal. UML essencial: um breve guia para a linguagem-

padrão de modelagem de objetos. 2 ed. Porto Alegre, RS: Bookman, 2000.

FRANKLINT, Kleitor. Delphi 5 para internet com banco de dados. 1999. Tatuapé, SP: Ed.

Ërica, 1999.

GRIBBONS, William. The new demographic: changing our view of product usability.

Disponível em: http://www-3.ibm.com/ibm/easy/. Acesso em: 3 jun. 2002.

ITAKURA, Fernando T.; VERGÍLIO, Silvia R. TOWABE – Uma ferramenta para avaliação

de usabilidade em aplicações para web. In: XVI Simpósio Brasileiro de Engenharia de

Software, 16., 2002, Anais... Gramado, RS: UFRGS, 2002. p. 462-467.

LIMA, Raquel Souza et al. Qualidade de software. São Paulo, SP: Prentice Hall, 2001.

LYNCH, Patrick J.; HORTON, Sarah. Webstyle guide: basic design principles for creating

web sites. New Haven: Yale University Center for Advanced Instructional Media, 1999.

Page 53: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

MAYHEW, Deborah J. Principles and guidelines in software user interface design. New

Jersey: Prentice Hall, 1992.

MILLS, Charles A. Auditoria da qualidade. São Paulo, SP: Makron Books, 1994.

NIELSEN, Jakob. End of web design. Disponível em:

<http://www.useit.com/alertbox/20000723.html> Acessado em 10 out. 2002.

NÓBREGA, Kleber C. Apostila do curso de gestão da qualidade – especialização em

gestão de qualidade. Blumenau, SC: 1994.

PRESSMAN, Roger S. Software engineering – a practitioner’s approach, 5ª edição. Nova

York, NY: McGraw-Hill, 2000.

ROCHA, Ana R. C. et al. Qualidade de software – teoria e prática. São Paulo, SP: Prentice

Hall, 2001.

SCAPIN, Dominique et al. Commerce & interactions: compilation of ergonomic

guidelines for the design and evolution of web sites. Roquencourt: Institut National de

Recherche en Informatique et en Automatique, 1998.

SPOOL, Jared M. et al. Web Site Usability: A Designer’s Guide. User Interface

Engineering. EUA. 1997.

WEBER, Kival Chaves et al. Qualidade e produtividade em software. São Paulo, SP: Ed.

Makron Books, 2001.

WINCKLER, Marco; PIMENTA, Marcelo S. Avaliação de usabilidade de sites Web. In:

Escola de Informática da SBC-Sul, 10., 2002, Caxias do Sul. Anais... Porto Alegre, RS:

UFRGS, 2002. p. 85-137.

ZUNINO, Fábio R. Nível de satisfação dos alunos em relação ao site da FURB. 2002. 70 f.

Trabalho de Conclusão de Curso (Bacharelado em Publicidade e Propaganda) - Centro de

Ciências Humanas e da Comunicação, Universidade Regional de Blumenau, Blumenau, SC.

Page 54: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

ANEXO I

Check-List

Page 55: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

1. Usabilidade

1.1 Entendimento Global do Site:

1.1.1 As informações apresentam as fontes de onde foram retiradas ?

1.1.2 As informações estão organizadas de forma lógica ?

1.1.3 As informações estão organizadas de forma hierárquica ?

1.2 Feedback e Help On-line:

1.2.1 Existe algum link de ajuda no site ?

1.2.2 Em algum momento são solicitadas informações pessoais do usuário ?

1.3 Características Estéticas e de Interface:

1.3.1 A home-page possui uma quantidade adequada de informações, o que a faz não

ser confusa ?

1.3.2 O título do site é significativo e está de acordo com o seu conteúdo ?

1.4 Características Especiais:

1.4.1 A home-page apresenta um sumário das informações que o site contém ?

1.4.2 A home-page informa a data da última atualização do site ?

1.4.3 Os textos são curtos e diretos ?

2. Funcionalidade

2.1 Capacidade de Busca e Recuperação:

2.1.1 Existe alguma ferramenta de busca no sentido de facilitar a pesquisa ?

2.1.2 Em caso afirmativo, o tempo de reposta é aceitável ?

2.2 Características de Navegação e Browser:

Page 56: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

2.2.1 O site possui um mapa com a organização de todo o seu conteúdo ?

2.2.2 É preciso percorrer muitas páginas para se chegar a informação desejada ?

2.2.3 Possui links na página principal para as informações mais procuradas ?

2.2.4 As fontes utilizadas são legíveis ?

2.2.5 Os títulos dos botões ajudam a navegação ?

2.2.6 A formatação do texto utilizada facilita a leitura ?

2.2.7 É possível navegar pelo site sem visualizar as figuras no modo somente texto ?

2.2.8 As imagens, os vídeos e os sons são utilizados de forma agradável ?

2.2.9 A navegação atual é sempre clara (“Onde eu estou ?”) ?

2.2.10 Todas as páginas tem um link para a página inicial ?

2.3 Características Relacionadas ao Domínio da Aplicação:

2.3.1 A home-page possui ícones claros o suficiente para não gerar ambigüidade ?

2.3.2 As informações podem ser impressas facilmente ?

2.3.3 A impressão é legível ?

2.3.4 Para os textos muitos grandes, a página fornece a opção de download ?

2.3.5 São utilizados recursos de editoração para enfatizar e ressaltar parte do

conteúdo ?

2.3.6 Nenhum recurso ou plug-ins desnecessário é utilizado ?

3. Confiabilidade

3.1 Processamento Correto de Links:

3.1.1 Os links relacionados realmente existem ?

Page 57: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

3.1.2 Estão de acordo com a sua descrição ?

3.2 Recuperação de Erros:

3.2.1 O site dá instruções de como agir em situações de erro ?

3.2.2 Erros ocorrem facilmente ?

3.3 Validação e Recuperação de Input do Usuário:

3.3.1 A linguagem utilizada está de acordo com seu nível de conhecimento do

assunto ?

4. Eficiência

4.1 Desempenho do Tempo de Resposta:

4.1.1 Os aplicativos executados a partir do site tiveram um bom desempenho ?

4.1.2 Se o site é muito abrangente, oferece na home-page uma opção para cada

categoria de usuário ?

4.1.3 O site possui opção de busca com resultados satisfatórios ?

4.2 Velocidade da Geração de Páginas:

4.2.1 O tempo de espera para a página ser carregada é aceitável ?

4.3 Velocidade da Geração de Gráficos:

4.3.1 O tempo de geração dos gráficos é aceitável ?

5. Manutenibilidade

5.1 Facilidade de Correção:

5.1.1 Os erros encontrados no site são facilmente corrigidos ?

Page 58: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

5.2 Adaptabilidade:

5.2.1 Há a possibilidade de se adaptarem recursos ao sistema facilmente no sentido

de melhorar seu conteúdo ?

5.3 Extensibilidade:

5.3.1 Há a necessidade de serem criadas extensões ?

6. Acadêmico

6.1 Perguntas Obrigatórias:

6.1.1 Consta no site o nome da Universidade ?

6.1.2 Consta no site o nome do Curso juntamente com a sua titulação (exemplo

bacharel) ?

6.1.3 Consta no site o nome completo do Coordenador do Curso juntamente com

seus meios de contato ?

6.1.4 É informado o número de fases (semestres) do curso ?

6.1.5 É demonstrada as disciplinas a serem cursadas por fase ?

6.1.6 A ementa das disciplinas encontra-se disponível ?

6.1.7 Há alguma espécie de ilustração demonstrando a existência de disciplinas com

pré-requisito ?

6.1.8 É apresentada a estrutura física do curso ?

6.1.9 Meios de contato do curso (endereço, fone, e-mail) são apresentados ?

6.1.10 Existe alguma relação de professores com seus respectivos contatos (e-mail e

sites) ?

6.1.11 Há links para outras instituições de ensino, bem como organizações da área ?

Page 59: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

6.1.12 Consegue-se através do site perceber a existência de algum Centro Acadêmico

no curso ?

6.1.13 Os custos em relação ao curso (mensalidade, matrícula) são apresentados ?

6.1.14 Apresenta o número de vagas oferecidas por vestibular e periodicidade dos

mesmos ?

6.1.15 O nível de graduação dos professores é informado ?

Page 60: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

ANEXO II

Diagrama de Navegabilidade

Page 61: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

AjudaOpção Ajuda

Dicas

Opção Dicas

LinksOpção Links

Sobre

ASA

Opção Sobre

Ajuda Avaliar Opção Ajuda

1

2

3

4

5

Opção Usabilidade

Opção Confiabilidade

Opção Funcionalidade

Opção Eficiência

Cadastrar DadosOpção Incluir

Recebe Código

Confirma Inclusão

Retorna para Avaliação

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte I)

Informar Código

Código Ok ?

Erro 1

Erro 2

Código não cadastrado

Código não digitado

Opção Avaliar

Confere Código

Qual Tópico ?

Retornar Menu PincipalRetornar Menu Pincipal

Retornar

Menu Tópicos

Opção Manutenibilidade

Sim

Verifica

Menu Principal

Qual opção ?

Seleciona Opção

Verifica

MenuAvaliação

Qual Opção ?

Verifica

T

Retorna de Tópico Anterior

X

Obrigatório: Acadêmico

NRetorna aoInício

Page 62: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte II)

1

Opção Usabilidade

Opção 2Opção 3

Opção 1

Opção 4

Sub-Tópico(s) selecionado(s)

OutroSub-Tópico ?

OutroSub-Tópico ?

OutroSub-Tópico ?

T

T

Não

Não

Não

Verifica

VerificaVerifica

Qual Sub-Tópico ?

Tela Explicativa

Verifica U

U

U

Sim

Sim Sim

Retornar

Sub-TópicosUsabilidade

LEGENDA DE SIGLAS:

EGS = Entendimento Global do Site

FHO-L = Feedback e Help On-Line

CEI = Características Estéticas e de Interface

CE = Características Especiais

LEGENDA DE CONECTORES:

U = Próxima Questão

T = Próximo Tópico

TNenhumEGS

(Questões)

FHO-L(Questões)

CEI(Questões)

CE(Questões)

Próximo Tópico

Page 63: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte III)

2

Opção 1

Opção 3

Sub-Tópico(s) selecionado(s)

OutroSub-Tópico ?

OutroSub-Tópico ?

T

T

Não

Não

Verifica

Verifica

Qual Sub-Tópico ?

Tela Explicativa

Verifica

F

F

Sim

Sim

Retornar

Sub-TópicosFuncionalidade

LEGENDA DE SIGLAS:

CBR = Capacidade de Busca e Recuperação

CNB = Características de Navegação e Browser

CRDA = Características Relacionadas ao Domínio da Aplicação

LEGENDA DE CONECTORES:

F = Próxima Questão

T = Próximo Tópico

TNenhum

Opção 2

Tela 2

Tela 3

CRDA(Questões)

CRDA(Questões)

Tela 2

CBR(Questões)

CBR(Questões)

CBR(Questões)

CBR(Questões)

Tela 4

CNB(Questões)

F

Próximo Tópico

Opção Funcionalidade

Page 64: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte IV)

3

Opção 2

Opção 1

Sub-Tópico(s) selecionado(s)

OutroSub-Tópico ?

OutroSub-Tópico ?

OutroSub-Tópico ?

T

T

Não

Não

Não

Verifica

VerificaVerifica

Qual Sub-Tópico ?

Tela Explicativa

Verifica C

C

C

Sim

Sim Sim

Retornar

Sub-TópicosConfiabilidade

LEGENDA DE SIGLAS:

PCL = Processamento Correto de Links

RE = Recuperação de Erros

VRIU = Validaçao e Recuperação de Input do Usuário

LEGENDA DE CONECTORES:

C = Próxima Questão

T = Próximo Tópico

TNenhumPCL

(Questões)

RE(Questões)

VRIU(Questões)

Opção Confiabilidade

Opção 3

Próximo Tópico

Page 65: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte V)

4

Opção 2

Opção 1

Sub-Tópico(s) selecionado(s)

OutroSub-Tópico ?

OutroSub-Tópico ?

OutroSub-Tópico ?

T

T

Não

Não

Não

Verifica

VerificaVerifica

Qual Sub-Tópico ?

Tela Explicativa

Verifica E

E

E

Sim

Sim Sim

Retornar

Sub-TópicosEficiência

LEGENDA DE SIGLAS:

DTR = Desempenho do Tempo de Resposta

VGP = Velocidade da Geração de Páginas

VGG = Velocidade da Geração de Gráficos

LEGENDA DE CONECTORES:

E = Próxima Questão

T = Próximo Tópico

TNenhumDTR

(Questões)

VGP(Questões)

VGG(Questões)

Opção Eficiência

Opção 3

Próximo Tópico

Page 66: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte VI)

5

Opção 2

Opção 1

Sub-Tópico(s) selecionado(s)

OutroSub-Tópico ?

OutroSub-Tópico ?

OutroSub-Tópico ?

T

T

Não

Não

Não

Verifica

VerificaVerifica

Qual Sub-Tópico ?

Tela Explicativa

Verifica M

M

M

Sim

Sim Sim

Retornar

Sub-TópicosManutenibilidade

LEGENDA DE SIGLAS:

FC = Facilidade de Correção

A = Adaptabilidade

E = Extensibilidade

LEGENDA DE CONECTORES:

M = Próxima Questão

T = Próximo Tópico

NenhumFC(Questões)

A(Questões)

E(Questões)

Opção Manutenibilidade

Opção 3

Próximo Tópico

T

Page 67: AVALIAÇÃO DA QUALIDADE DE SITES …campeche.inf.furb.br/tccs/2002-II/2002-2eliomarrussivf.pdf · ISO/IEC 9126 e foi publicada em 1991. Ela é uma das mais antigas da área de qualidade

D I A G R A M A D E N A V E G A B I L I D A D E

( Parte VII)

X

LEGENDA DE CONECTORES:

X = Perguntas Acadêmica (Obrigatório)

N = Volta a Tela Inicial do ASA

Acadêmico(Questões)

Acadêmico(Questões)

Acadêmico(Questões)

Acadêmico(Questões)

Acadêmico(Questões)

Tela 1

Tela 2Tela 3

Tela 4

Tela 5Tela Explicativa(Notas Finais)

Divulgação(Notas)

NVolta a Tela Inicial