/ 48

JMeter x WebLoad_

O artigo fornece ao leitor uma visão geral sobre testes de desem-penho, uma técnica muitas vezes esquecida, mas essencial para o sucesso de uma aplicação. O processo de criação e execução é ilus-trado em duas importantes ferramentas: o Webload e o JMeter. Ao final é feito um breve comparativo entre as duas ferramentas discu-tindo as vantagens e desvantagens de cada uma.

Tarcísio Fonseca | tarcisio@ymail.comLeonardo Costa | coeeu@hotmail.com

Rodrigo Aragão | rodrigo_sdi_ufs@hotmail.comLeonaldo Andrade | leonaldohot@hotmail.com

São alunos do curso de Sistemas de Informação na Universidade Federal de Sergipe, campus Itabaiana. Participam do projeto de pesquisa no LabPS – Laboratório de Produtividade de Software financiado pela Infox e Instituto Nacional de Engenharia de Software(INES).

Marcos Barbosa Dósea | marcosdosea@yahoo.com.brMembro efetivo do corpo docente do Departamento de Sistemas de Informação na Universidade Federal de Sergipe, onde ministra disciplinas na área de Engenharia de Software e Desenvolvimento Web, coordenador Regional do Projeto Laboratório de Produtividadede Software e consultor na área de Melhoria de Processos de Desenvolvimento de Software.

JMeter x WebLoadFerramentas para

Teste de Desempenho

JMeter x WebLoadUma análise de duas soluções para execução de testes de de-sempenho para você decidir qual é a melhor para sua empresa.

No mundo dos negócios, quando se fala em com-petitividade, logo se espera ter como um dos

fatores diferenciais, o desempenho. E isso se torna imprescindível quando se tem um sistema que não pode conter erros; que não pode falhar em momen-tos cruciais; quando o desempenho é a chave para expectativas tanto do ponto de vista da imagem da

sua empresa quanto da necessidade de cumprir pos-síveis requisitos que os clientes venham exigir nos projetos. Como exemplo, imagine um site de com-pras onde o cliente precisa aguardar muito tempo para carregar a página desejada ou ainda o site fica fora do ar porque não suportou uma determinada quantidade usuários. É neste momento que os testes

49 \

de desempenho entram para garantir as necessida-des citadas, e é com base nesse tema que trilharemos o artigo.

Muitos acreditam que a área de testes se resu-me a simplesmente testar “botões” de um software. No entanto esta área é muito mais densa e robusta do que se possa imaginar. A área de testes está en-volvida em todo o ciclo de vida de uma aplicação, o que otimizará todo o processo de desenvolvimento, e que implicará numa melhor utilização dos recursos para elevar a qualidade dos resultados, sendo este o produto final.

uma vertente desta área é o teste de desempe-nho, que é um tipo de teste que visa determinar a capacidade de resposta, o rendimento e/ou escalabi-lidade de um sistema sob uma determinada carga de trabalho. No entanto, para realizar os testes de de-sempenho, é de suma importância obter uma ferra-menta adequada para sua equipe. Para ter noção da importância das ferramentas de testes de desempe-nho, imagine você e sua equipe tentando cronome-trar o tempo de resposta de uma página ou ter que simular 100 usuários simultâneos, um em cada com-putador. Como facilitadores, já existem no mercado, diversas ferramentas gratuitas ou proprietárias para realização desses testes. Neste artigo, serão apresen-tadas, através da criação de um teste simples, duas dessas ferramentas: o JMeter (gratuita) e o Webload (proprietária). No final do artigo é feita uma breve comparação entre as soluções apresentadas.

Por que se preocupar com os testes de software?

Software são parte do nosso dia-a-dia, desde aplicações comerciais, como sistemas bancários, até produtos de consumo, como carros. A maioria das pessoas já teve alguma experiência com um sof-tware que não funcionou como esperado. Software que não funciona corretamente pode levar a muitos problemas, incluindo financeiros, além de compro-meter a reputação das empresas, podendo, inclusive, influenciar a integridade das pessoas. Os defeitos ocorrem porque os seres humanos são passíveis de falha e porque existe pressão no prazo, códigos com-plexos, complexidade na infraestrutura, mudanças na tecnologia e/ou muitas interações de sistema.

Rigorosos testes em sistemas e documentações podem reduzir os riscos de ocorrência de problemas no ambiente operacional, e contribui para a quali-dade dos softwares se os defeitos encontrados fo-rem corrigidos antes da implantação dos sistemas em produção. O teste de software pode também ser necessário para atender requisitos contratuais ou le-gais ou determinados padrões de mercado.

Na definição da norma ISO 8402/94, a qualidade de software é “a totalidade de características de um

produto e software que lhe confere a capacidade de satisfazer necessidades explícitas e implícitas”.

Com a ajuda do teste é possível medir a qualida-de do software em termos de defeitos encontrados, por características e requisitos funcionais ou não funcionais do software. O resultado da execução dos testes pode representar confiança na qualidade do software caso sejam encontrados poucos ou nenhum defeito. um teste projetado adequadamente e cuja execução não encontra defeitos reduz o nível de ris-cos em um sistema. Por outro lado, quando os testes encontram defeitos, a qualidade do sistema aumen-ta quando estes são corrigidos. Através do entendi-mento da causa-raiz dos defeitos encontrados em outros projetos, os processos podem ser aprimora-dos de modo a prevenir reincidência de erros e, con-sequentemente, melhorar a qualidade dos sistemas futuros. Testes devem ser integrados como uma das atividades de garantia da qualidade.

Para mais informações sobre características dos softwares, veja a norma ISO/IEC 9126. Ela é uma norma ISO para qualidade de produto de software, que se enquadra no modelo de qualidade das normas da família 9000. A norma brasileira correspondente é a NBR ISO/IEC 9126.

Testes de DesempenhoPor que realizar o teste de desempenho no seu

sistema? O teste de desempenho é normalmente feito para ajudar a identificar gargalos no sistema, estabelecer uma base para testes futuros, apoiar o esforço de ajuste de desempenho, determinar o cum-primento das metas de desempenho e exigências; e/ou recolher outros dados relacionados ao desempe-nho para ajudar os stackholders a tomar decisões re-lacionadas à qualidade global do aplicativo que está sendo testado. Além disso, os resultados de testes de desempenho e análise podem ajudá-lo a estimar a configuração do hardware necessário para suportar o aplicativo.

No mais alto nível, os testes de desempenho são quase sempre realizados para tratar um ou mais riscos relacionados às despesas, custos de oportuni-dade, continuidade e/ou reputação corporativa. Al-gumas razões mais específicas para a realização de testes de desempenho incluem:

» Prever ou estimar as características de desem-penho de uma aplicação em produção e avaliar se deve ou não abordar questões de desempe-nho com base nessas previsões. Estas previ-sões são igualmente valiosas para os stakehol-ders tomarem decisões sobre se um aplicativo está pronto para lançamento ou capaz de lidar com o crescimento futuro, ou se exige uma melhoria no desempenho ou uma atualização no hardware antes da liberação.

/ 50

» Fornecimento de dados que indique a probabi-lidade de insatisfação do usuário com as carac-terísticas de desempenho do sistema.

O tipo mais comum de teste de desempenho para aplicações web tem o propósito de determinar ou va-lidar a velocidade a escalabilidade e/ou estabilidade.

Em termos de qualidade, uma aplicação web deve possuir:

» Confi abilidade » Recuperabilidade » Segurança » usabilidade » Performance

Por que é diferente testar aplicação web?

O mundo web para quem faz testes é diferente. Pois, este não é trivial. Temos que verifi car se tudo está funcionando. O link está funcionando? O aplica-tivo suporta a carga de usuários desejada?

Quanto mais se conhece do ambiente web, me-lhor podemos fazer o teste. O especialista em testes deve conhecer tecnologias relativas a:

» Linguagens de Scripting: ASP, xML, HTML etc. » Bancos de Dados: ORACLE SQL etc. » Servidores de Aplicação: IIS, Apache etc. » Protocolos de Transferência de Dados: TCP/IP,

HTTP, FTP etc. » Conhecer diversos navegadores Web. » Saber testar diversos pontos como: performan-

ce, segurança, integridade da base de dados etc. » Tecnologias de automação de testes. » Saber testar o aplicativo em diversas platafor-

mas, como Windows e Linux, etc.PrioridadesO especialista envolvido em teste de aplicação

web deve dar prioridade a: » desenvolver um plano de testes o mais comple-

to possível; » estruturar testes funcionais por componentes

web; » priorizar os testes dos componentes em função

do risco de falha desses componentes; e » iniciar o mais breve possível os teste dos com-

ponentes de alta prioridade e ir testando até os de baixa prioridade.

Nas próximas seções são apresentadas duas das diversas ferramentas existentes na Web para execu-ção dos testes de desempenho: JMeter e WebLoad.

Ferramentas

JMeterO JMeter é uma aplicação desktop projetada para

a realização de testes de desempenho e estresse em aplicações cliente/servidor, tais como aplicações Web. É uma ferramenta de código aberto, feita em Java.

A ferramenta permite a criação de testes para os protocolos HTTP, JDBC, FTP, SOAP, dentre outros. Ela também suporta a criação de testes funcionais, mas neste artigo só daremos ênfase ao teste de desempe-nho.

Os testes podem ser escritos manualmente (por meio da criação manual das requisições HTTP) ou gravados automaticamente enquanto você navega na aplicação simulando um usuário real (por meio de um Proxy Server). Existem outras ferramentas que podem gerar os scripts e exportá-los para o JMeter como o BadBoy (http://www.badboy.com.au/).

O download do JMeter pode ser feito no link: http://jakarta.apache.org/site/downloads/downloa-ds_jmeter.cgi

Elementos do JMeterOs elementos principais e mais utilizados do

JMeter serão apresentados nessa seção junto com um exemplo prático. O site que iremos usar no exemplo é o da universidade Federal de Sergipe (uFS), institui-ção de ensino dos autores deste artigo.

A execução do JMeter é feita por meio do arquivo ApacheJMeter.jar encontrado no caminho jakarta--jmeter-2.5 > bin > ApacheJMeter. A fi gura 1 mostra o arquivo que deve ser executado.

Área de TrabalhoA Área de Trabalho serve como armazenamento

temporário de elementos. Os itens associados a este

Figura 2. Adição do Servidor HTTP Proxy.Figura 1. Arquivo para executar o JMeter.

51 \

elemento não são considerados como parte do plano de testes. No nosso exemplo vamos adicionar o ser-vidor HTTP Proxy, mostrado na fi gura 2. Com ele, iremos gravar automaticamente todas as requisições necessárias para o teste.

Plano de TesteNa fi gura 3 é mostrado o Plano de Teste do JMe-

ter, que pode ser renomeado e pode-se adicionar co-mentários sobre o teste que o usuário irá realizar.

um Plano de Teste descreve uma série de passos que o JMeter irá executar.

Grupo de Usuáriosum Grupo de usuários é onde é defi nido o núme-

ro de usuários que se deseja simular, quantas vezes os usuários devem enviar requisições ao servidor e o tempo de inicialização entre cada usuário.

Na fi gura 4 é mostrada a adição do Grupo de usu-ários em um Plano de Teste.

Na fi gura 5 é mostrada a tela de Grupo de usu-ários, onde no campo Número de usuários Virtuais (threads) defi ne-se o número de usuários que se de-seja simular.

No campo Tempo de Inicialização (em segundos) é defi nido o tempo de demora entre o início de cada usuário.

O Contador de Iteração é um campo onde é inse-rida a quantidade de vezes que o grupo de usuários realizará o teste.

O JMeter possui no Grupo de usuário a opção Agendador onde pode ser agendado o horário que o teste deve iniciar e terminar automaticamente, mas no nosso exemplo não será utilizado esse recurso. A opção só foi selecionada para demonstração, então, lembre-se de desmarcá-la antes de executar seus tes-tes.

Servidor HTTP ProxyComo já foi mencionado antes, o Servidor HTTP

Proxy grava automaticamente as requisições HTTP feitas em um navegador (perderia-se muito tempo caso fosse necessário gravar cada requisição manu-almente). Agora serão gravadas as requisições do exemplo. Primeiro, deve-se alterar a Confi guração de Conexão do navegador que será utilizado para Confi -guração manual de proxy como mostrado na fi gura 6.

No segundo passo, deve-se iniciar o Servidor HTTP Proxy. Em seguida, já no navegador, digite a uRL da aplicação a ser testada. Como já dito antes, iremos utilizar o site da uFS (www.ufs.br). Na fi gura 7 é mostrada a página inicial.

No exemplo deste artigo, usamos os links da pá-gina inicial e acadêmico presencial (www.presencial.ufs.br), mas poderia ser utilizada qualquer outra uRL.

Figura 3. Plano de Teste do JMeter.

Figura 4. Adição do Grupo de Usuários.

Figura 5. Grupo de Usuários e modifi cações feitas para o exemplo.

Figura 6. Confi guração da conexão do navegador.

Figura 7. Página inicial do site da UFS.

/ 52

Depois de completada todas as requisições, o servidor HTTP Proxy pode ser interrompido. Obser-ve na fi gura 8 que as requisições HTTP foram todas registradas. O JMeter grava diversas requisições e em diferentes formatos, por isso é necessário excluir as requisições que não são necessárias para o Plano de Teste.

TestadorO Testador é um componente que representa

cada requisição que o JMeter fará ao servidor quan-do o plano de teste for executado. O JMeter contém vários tipos de Testadores, como, por exemplo, re-quisição FTP, requisição HTTP (a mais utilizada pelos testadores), requisição JDBC, dentre outros. As re-quisições do exemplo poderiam ter sido adicionadas manualmente, mas isso seria algo muito improdutivo se no exemplo existissem, por exemplo, 20 uRLs dife-rentes para serem testadas. Por isso, o ideal é usar o Servidor HTTP Proxy. A fi gura 9 mostra como é feita a adição de uma requisição HTTP manualmente e a fi gura 10 os principais elementos dela.

AsserçõesO componente Asserções serve para validar as

respostas das requisições HTTP. Existe um conjunto de asserções para as mais diversas funções, mas em

testes para servidores Web, duas asserções são mui-to utilizadas: “Asserção de Resposta” e “Asserção de Duração”.

No exemplo foi usado Asserção de Duração para defi nir o tempo máximo que o sistema tem para res-ponder a uma requisição. Caso a obtenção da resposta demore mais que o tempo defi nido, a asserção falha-rá. Essa Asserção é muito utilizada, pois a partir dela podemos verifi car o atendimento a um dos principais requisitos de desempenho: o tempo de resposta das requisições. Na fi gura 11 é mostrada como é feita a

Figura 8. Requisições salvas pelo Servidor HTTP Proxy.

Figura 9. Adição de uma Requisição HTTP.

Figura 10. Principais elementos de uma Requisição HTTP.

Figura 11. Adição e confi guração da Asserção de Duração.

Figura 12. Associação do Ouvinte.

Figura 13. Adição dos Ouvintes.

53 \

adição da Asserção de Duração e como é confi gurada.OuvinteOs Ouvintes são relatórios onde os resultados do

Plano de Teste são salvos. Os resultados podem ser mostrados em uma árvore, tabelas ou gráfi cos.

No Plano de Teste pode ser utilizada qualquer quantidade de ouvintes. Dependendo do lugar em que o ouvinte esteja associado podem ser obtido di-ferentes resultados. A fi gura 12 mostra os diferentes resultados que serão obtidos.

Os Ouvintes Ver Resultados em Tabela e Re-latório de Sumário foram utilizados no exemplo, e foram associados ao Grupo de usuários: usuários La-bPS – Exemplo. Como o exemplo faz uso de Asserção de Duração foi adicionado também os Resultados de Asserção, que permitem visualizar os resultados das asserções que falharam e o porquê da falha. A fi gura 13 mostra a adição dos Ouvintes.

TemporizadorO JMeter permite a simulação de uma parada

para ler um texto ou olhar uma fi gura numa página web através do Temporizador. Existem vários tem-porizadores no JMeter, mas vamos explorar apenas alguns. O exemplo não faz uso de nenhum Tempori-zador. O Temporizador Constante permite que você estabeleça um intervalo em milissegundos (padrão) entre os usuários. O Temporizador Aleatório Uni-forme permite simular uma parada aleatória dentro dos limites inferior e superior que forem informados.

Execução do TesteAntes de executar o teste, lembre-se de Salvar o

Plano de Teste. As próximas fi guras mostram os re-sultados dos testes nos diferentes tipos de Ouvintes que foram adicionados.

WebLOADApós a análise do JMeter, seguiremos com o We-

bLOAD. Antes disso, é importante salientar que há

duas versões do WebLOAD, a versão Professional e a versão Open Source.

O WebLOAD Open Source Load Generation Engine é um projeto Open Source patrocinado pela empre-sa RADview Software. No site da ferramenta (www.webload.org), você poderá baixá-la nas duas versões e ainda poderá analisar uma tabela comparando as duas versões da ferramenta. Lembrando que a ver-são Professional é apenas de avaliação para 30 dias e possui apenas a capacidade de gerar cinco usuários virtuais. Se desejar observar a ferramenta em ação, poderá ver os vídeos disponíveis no próprio site da RadView (www.radview.com).

Com o WebLOAD, é possível verifi car a escalabi-lidade e integridade de sua aplicação Web. A ferra-menta faz isso pela geração de carga que é composta de clientes virtuais que simulam situações reais de tráfego. Os exames dos clientes permitem refi nar o processo de testes, agindo como um único usuário, que mede o desempenho de atividades específi cas, e fornece estatísticas de desempenho individual do aplicativo. As Agendas desenvolvidas podem ser exe-cutadas no WebLOAD para emular clientes virtuais nos testes de carga.

Então, como o WebLOAD trabalha? O WebLO-AD testa as aplicações Web através da geração de clientes virtuais que simulam as cargas do mundo real. Os clientes virtuais imitam as ações dos usuá-rios humanos através da realização de ações típicas na sua aplicação web. Você pode criar os scripts de testes baseados em JavaScript (as chamadas agendas) que defi nem o comportamento dos clientes virtuais, e então, o WebLOAD executa esses scripts de teste monitorando a resposta estatisticamente por meio de gráfi cos que apresentam os resultados do teste em tempo real.

A arquitetura de funcionamento do WebLOAD é dividida em três partes, e para uma melhor com-preensão da ferramenta, iremos executar um tutorial para a criação de uma agenda e executá-la.

Neste manual, ensinaremos a criar uma agen-da com o WebloAd idE e executar a carga com o WebLOAD Console. O WebLOAD Analytics apenas apresenta os dados em modo gráfi co e, se você dese-jar, poderá exportar os relatórios em vários formatos. O primeiro passo na criação de uma agenda é gravar suas ações interagindo com aplicação web.

Figura 14. Resultados obtidos exibidos em Ver Resultados em Ta-bela.

Figura 15. Resultados obtidos exibidos em Relatório de Sumário.Figura 16. Resultados obtidos exibidos em Resultados de Asserção.

/ 54

1. Abra o WebLOAD IDE e crie um novo projeto. A janela principal do WebLOAD IDE abrirá no modo de edição para começar a criar o script [Agenda] como na fi gura 17.

2.

Figura 17. WebLoad IDE (Agenda).

Na janela principal, no modo de edição, clique em Run > Start Recording para começar a gra-vação. uma janela do navegador Internet Ex-plorer será aberta, na barra de endereço digite o endereço eletrônico da aplicação a ser testa-da e o WebLOAD IDE irá gravar todas as ações que você executar no navegador web. Observe a notifi cação de gravação na barra de status do WebLOAD IDE, como mostrado na fi gura 18.

3. Figura 18. Notifi cação de gravação.

Suas ações serão gravadas e aparecerão na Agenda Tree do Webload IDE. Se na Agenda Tree houver scripts com links desconhecidos, pode ser que seja tráfego gerado por plug-ins ou extensões do próprio navegador.

4. Quando encerrar as ações, clique em Run > Stop Recording para encerrar a gravação. Em seguida, salve a agenda. Ao fi nal da gravação, sua Agenda pode ser vista como na fi gura 19.

Figura 19. Exemplo do script gerado.

Confi gurando um modelo de carga utilizando o Assistente WebLOAD Console

Depois de gravar a agenda, no próprio WebLOAD

IDE, acesse o menu Tools > Open WebLOAD Console para criar um novo modelo de carga.

1. Ao abrir o WebLOAD Console, selecione “criar um novo modelo usando o assistente WebLO-AD Console” e clique em ok. Avance até chegar à opção Agenda/Mix, como na fi gura 20

2. Na tela Agenda/Mix, clique no botão [...] e na-vegue em seu sistema para localizar a agenda criada anteriormente usando WebLOAD IDE. Selecione a agenda e clique em abrir.

3. Na tela Seleção de Host Selection, note que seu computador é automaticamente listado como o padrão de carga da máquina na coluna Host computers. Porém, o localhost na coluna também é a máquina do usuário. Sendo assim, apenas avance como mostrado na fi gura 21 e depois avance novamente.

4. Selecione a opção Individual Scheduling.5. Em Individual Scheduling, na coluna “To”,

coloque o tempo de execução da aplicação de 5 minutos (00 days 00:05:00), e a quantidade de usuários que irá simular a aplicação, depois

Figura 20. Selecionando a Agenda.

Figura 21. Selecionando Hosts.

55 \

selecione em Append e avance até fi nalizar o processo de criação de carga.

6. Após concluir a confi guração, o teste irá iniciar automaticamente.

Análise de resultados de teste com o WebLoad Analytics

Você pode ver os resultados dos testes em tempo de execução, ou após a sessão de teste ter sido con-cluída.

Dados sobre a carga (Load Size), Requisições por Segundo (hist. Per second), o tempo de rodada (Round time) e Vazão (throughput) aparecem na janela de exi-bição de gráfi co por padrão, com uma legenda que aparecerá caso você coloque o mouse sobre a linha desejada. Cada ponto de dados representa uma fatia de 20 segundos (que pode ser modifi cado no canto superior do gráfi co). Os gráfi cos são todos normaliza-dos em escala para que eles possam ser visualizados em uma única janela. Clique com o botão direito do mouse em qualquer ponto de dados para ver mais op-ções.

O WebLOAD Analytics cria relatórios de análise com base em seus dados de sessão. Mesmo depois de completar uma sessão, você pode usar esses dados para criar tantos relatórios predefi nidos e persona-lizados. Você pode criar “carteiras”, que são conjun-tos de relatórios personalizados para rodar em outras sessões. Você também pode exportar relatórios para PDF, Excel, RTF, HTML e TxT.

A fi gura 22 mostra os resultados apresentados pelo WebLoad Analytics. Estes resultados são de fá-cil interpretação. Possuem barras laterais, mostrando diversas escalas para interpretação dos gráfi cos, como carga (Load Size) e vazão (Throughput). Na parte in-ferior da fi gura, os dados também são mostrados por tipo e momento específi co na execução.

Considerações fi naisAo fi nal deste artigo, esperamos que você tenha

compreendido a importância da área de testes de sof-

tware na sua vida profi ssional e que ela faz parte do conjunto de práticas necessárias para a qualidade de-sejada do seu projeto. um componente fundamental da área de teste de software para aplicações web é a utilização de boas ferramentas, pois elas irão otimi-zar seu processo de teste de uma maneira extrema-mente efi ciente, proporcionando resultados precisos e reais que irão infl uenciar diretamente no desem-penho ou performance de sua aplicação. As duas fer-ramentas apresentadas cumprem bem os objetivos do teste de desempenho e esperamos que os breves comparativos realizados neste artigo ajudem-nos a realizar uma análise mais detalhada de qual solução é mais adaptada ao negócio da sua empresa.

Figura 22. Resultados gráfi cos no WebLoad Analytics.

Figura 23. Tabela comparativa.

> Syllabus – http://www.bstqb.org.br/?q=node/12

> Site da Radview – http://www.radview.com/

> Site do Webload – http://www.webload.org/

> Site do JMeter – http://jmeter.apache.org/

> Performance Testing Guidance for Web Applications

> http://msdn.microsoft.com/en-us/library/bb924375.

aspx?wa=wsignin1.0

> TESTE DE SOFTWARE: UMA ABORDAGEM DO MPT.BR

– CYNTIA MARIA CHABARIBERY MALFA (monografi a)

> ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS.

NBRISO/IEC9126-1 Engenharia de software – Qualidade

de produto – Parte 1: Modelo de qualidade. 2003.

> MOLINARI, Leonardo. Teste de Software: Produzindo

Sistemas Melhores e Mais Confi áveis. 4 ed. São Paulo:

Érica, 2008.

/referências

Análise comparativa