Requisitos Ferramenta Testlink Projeto Resolução 553 CN 11 ......( 1 )Plano(s) de Teste(s) cujos...

of 24

Requisitos Ferramenta Testlink

Projeto Resolução 553 CN 11 Anatel - Nono Dígito

of 24

Índice

1 – Operação e Funcionalidades ......................................................................................................................................... 3

2 – Criação do projeto no TestLink ..................................................................................................................................... 4

3 – Cadastro de Requisitos ................................................................................................................................................. 6

4 – Especificar Casos de Teste ............................................................................................................................................ 8

5 - Visão Geral de Dependências entre CTs para Execução .............................................................................................. 10

6 – Exportar/Importar estrutura hierarquia para Excel .................................................................................................... 10

7 – Vincular Requisitos aos Casos de Teste ...................................................................................................................... 10

8 – Definindo Planos de Testes ......................................................................................................................................... 14

9 – Preparando para Executar um Teste .......................................................................................................................... 17

10 – Executando o Teste. .................................................................................................................................................. 18

11 – Relatórios .................................................................................................................................................................. 21

a – Relatório Gerencial de acompanhamento de execução ......................................................................................... 21

b – Métricas gerais do Plano de Teste .......................................................................................................................... 22

12 – Grupos de usuários para execução dos testes.......................................................................................................... 23

13 - TestLink X Mantis ....................................................................................................................................................... 23

14 – Mantis X TestLink ...................................................................................................................................................... 23

of 24

1 – Operação e Funcionalidades

Dentre as etapas de operação do TestLink e suas funcionalidades, temos as informadas abaixo:

1 – Criar um projeto do TestLink; 2 - Cadastrar requisitos; 3 - Especificar casos de teste; 4 - Vincular requisitos aos casos de teste; 5 - Criar um Plano de Teste e adicionar Casos de Teste a esse plano; 6 – Definir Projeto; 7 - Executar o teste; 8 – Arvore de dependências dos casos de testes x Mantis; 9 – Associar um bug do Mantis ao caso de teste; 10 - Resultados e Métricas.

A apresentação do TestLink reflete os dois momentos que a ferramenta propicia:

a) O PLANEJAMENTO, onde são gerenciados o projeto de teste, as permissões dos usuários, os campos personalizados, as palavras-chave, os usuários e seus papéis; especificados os requisitos e os casos de testes; e selecionados os requisitos e palavras-chave do projeto.

b) A EXECUÇÃO, onde são gerenciados os planos de testes, suas baselines e releases, as permissões do usuário e as fases de testes; atribuídos os casos de testes (aos planos de testes e executores); definidas as urgências dos testes; verificadas as versões dos casos de testes; executados os testes; e extraídas as métricas e reportes para acompanhamento.

De uma forma simples, podemos ver a tela inicial do sistema, como abaixo.

Figura 1: Estrutura da Ferramenta

of 24

2 – Criação do projeto no TestLink Deve ser criado um projeto chamado Resolução 553 - CN 11 – 9º digito que deverá ser usado nos testes entre

prestadoras.

Todas as prestadoras que participarem do teste integrado deverão ter acesso ao projeto, porém cada uma terá seu próprio diretório, de acordo com a relação dos perfis abaixo:

USUÁRIO AÇÕES RESPONSÁVEIS

Admin acesso total e irrestrito a aplicação ABR

Manager Mediador Criar/alterar/apagar perfis; Criar/alterar/apagar usuários; Criar/alterar/inibir campos personalizados e/ou eventos do projeto; Criar/alterar/associar/remover casos de testes; Especificar e associa requisitos; Editar, adicionar, remover, verificar e atribuir casos de testes; Gerenciar e cadastrar plano de testes; Cadastrar baselines; Criar, extrair e divulgar relatórios e métricas.

ABR

Manager Prestadora

Cria/altera/apaga perfis (dentro do seu grupo); Cria/altera/apaga usuários (dentro do seu grupo); Cria/altera/remover campos personalizados e/ou eventos do projeto (dentro do seu grupo); Remover (excluir logicamente) casos de testes dos planos de testes (dentro do seu grupo); Visualiza status das execuções de todos os grupos; Executa e atribui casos de testes para execução; Visualiza plano de testes; Visualiza baselines; Extrair relatórios e métricas.

PRESTADORAS

Visualizador de Testes

Visualizar toda a execução dos testes; Extrair relatórios e métricas.

PRESTADORAS

Analista de Testes Associar casos de testes aos requisitos (dentro do seu grupo); Visualizar status das execuções do seu grupo; Executar e atribuir casos de testes para execução; Visualizar plano de testes; Visualizar baselines; Extrair relatórios e métricas.

PRESTADORAS

Tester Executar os casos de testes atribuídos a ele; Visualizar os relatórios e métricas de testes.

PRESTADORAS

of 24

Na tela abaixo o campo prefixo ID deverá ser preenchido como 9º Digito, buscando identificá-lo unicamente.

Figura 2: Tela de criação de projeto de Teste

É importante marcar a opção “Gerenciar Requisitos” para habilitarmos a documentação de casos de uso/requisitos e critérios de aceite e garantirmos sua rastreabilidade/cobertura dos casos de testes.

A opção “Teste Automático” deverá ser habilitada, caso haja necessidade de algum teste automatizado (validador de layout).

of 24

3 – Cadastro de Requisitos

A ABR deverá cadastrar todos os requisitos do projeto na ferramenta. Com o perfil ADMIN e MANAGER MEDIADOR será possível documentar os casos de uso/requisitos (para os

quais os casos de testes deverão garantir cobertura) clicando no link “Especificar Requisitos” (Figura 3).

Figura 3: Especificar Teste (cadastrar)

Será aberta tela com a árvore do projeto do lado esquerdo. Ao clicar no Projeto de Teste que aparece nessa árvore (na figura, ‘Simulação de Projeto’) será possível criar nova especificação de requisito através do botão em destaque na Figura 4.

Figura 4: Cadastrar especificação de teste

of 24

Após clicar no botão informado acima, é possível informar o título, escopo e número total de requerimentos associados ao requisito sendo criado.

Figura 5: Tela para criação de nova especificação de teste

Após criado o requisito, este poderá ser organizado em ‘suítes’ (pastas na estrutura da figura 6 abaixo) adicionando o mesmo em uma destas. Também será possível criar os casos de testes (somente se houver um requisito filho dentro do requisito do projeto) que estarão relacionados com o requisito criado (ver botão ‘Criar Caso de Teste’ na figura abaixo).

Figura 6: Tela da especificação de teste de um Requisito específico e

possibilidade de criar Casos de Testes atrelados a especificação.

A seguir poderão ser adicionados aos Casos de Teste, Caso de Teste e Suíte de Teste são criadas (Figura7)

Figura 7: Criação de Caso de Teste a partir do botão “Criar Casos de Testes”

of 24

Atribuir Requisito ao Caso desejado:

Em "Requisitos", acesse "Especificar Requisitos"

Selecione (clique sob) o Projeto;

Clique no botão [Nova Especificação de Requisito];

Informe Título e Escopo, e clique em [Salvar];

Em seguida, clique no botão [Atualizar árvore] - verá que aparece o requisito incluído;

Clique neste Requisito que acabou de incluir; - Clique no botão [Criar novo Requisito];

Informe o "ID do Documento", "Título", "Escopo" e o "Status" deixe como Válido.

Clique no botão [Salvar];

Novamente, clique no botão [Atualizar árvore] - verá que aparece o ID Documento incluído;

Volte ao menu principal ;

Em "Requisitos", acesse "Selecionar Requisitos";

Selecione o Caso desejado;

Selecione o "Documento de Especificação de Requisitos";

Escolha o Requisito Disponível;

Por último clique em [Atribuir].

4 – Especificar Casos de Teste

Assim como nos requisitos, a ABR também deverá cadastrar todos os casos de testes do projeto na ferramenta, após serem passados pelas prestadoras.

Podemos acessar essa aplicação a partir do link “Selecionar Requisitos” ou até mesmo na barra de menu

acima no link “Especificação” (Figura 8), entrando assim na tela de Especificação de Testes (Figura 9) onde poderá realizar as ações de especificar requisitos como: criar/alterar/deletar nova Suíte e também manipular de diversas formas os Casos de Testes (criar, importar, exportar, mover, copiar os casos) assim como também é possível realizar essas ações nos Casos de Testes ao clicar diretamente em algum disponível na árvore representada do lado direito da tela (Figura 10) com o acrescimento do botão “Adicionar aos Planos de Teste” onde é possível definir a qual(is) projeto(s) o Caso de Teste faz parte(Figura11).

Figura 2: Selecionando Requisitos

of 24

Figura 9: Selecionando uma Suíte. Capacidade de criação/alteração de nova Suíte/Caso de Teste

Figura 30: Tela ao clicar no Caso de Teste. Possibilidade de manipular caso de teste e também adicioná-lo aos Planos de Teste

Figura 41: Adicionando aos Planos de Teste

of 24

5 - Visão Geral de Dependências entre CTs para Execução Apresentar fluxo das dependências entre casos de testes, ex.: A execução do ct05 tem como antecessoras as execuções com sucesso dos casos de testes ct01, ct02 e ct07, ou seja, associação no Test Link entre casos de teste como forma de indicar que para executar um caso de teste é necessária a execução de outro (s) antes.

6 – Exportar/Importar estrutura hierarquia para Excel Disponibilizar template Excel com estrutura hierarquia dos docs.: plano de testes/ cenários/requisitos/casos de testes para Importa/carga no TestLink e exportar para Excel com todas as informações/amarrações/estrutura hierarquia.

7 – Vincular Requisitos aos Casos de Teste Para acessar essa funcionalidade é necessário clicar no link “Selecionar Requisitos” na coluna de Planejamento (vide Figura 12)

Figura 52: Link “Selecionar Requisitos”

of 24

Figura 63: Clicando em uma Suíte. Possibilidade de atribuição.

Figura 74: Clicando em um Caso de Teste. Possibilidade de atribuição e não atribuição

of 24

Figura 85: Requisitos disponíveis e Requisitos atribuídos para CM

of 24

Nesse momento vinculamos os Requisitos que devem ser cobertos pelo Caso de Teste, de forma a criar uma rastreabilidade por Requisito. Isso será importante para verificar quando cada Requisito é coberto e quais os Casos de Teste são mais críticos.

Figura 96: Caso de Teste após cadastrar requisitos

Acima podemos ver como cada Caso de Teste fica no final de sua especificação. Com pré-condição, passos descrevendo a sequencia de ações para executá-lo, resultado esperado e práticas vinculadas. Assim devem ser feitos todos os “critérios” usados para o teste. Uma vez cadastrados, podem ser editados e modificados livremente, da mesma forma que os casos de teste de projetos de software.

of 24

8 – Definindo Planos de Testes (Criar um Plano de Teste e adicionar Casos de Teste a esse plano) Todo o trabalho até aqui é realizado somente uma vez, modificado sempre que um critério ou Caso de Teste fica desatualizado. De agora em diante apenas criamos “projetos” (planos de teste do TestLink) e baselines para seus testes. O trabalho de armazenar as informações e controlar os artefatos e evidências fica totalmente a cargo da ferramenta.

Figura 107: Gerenciar Plano de Teste

Figura 1811: Ao clicar em algum Plano de Teste existente

Podemos definir para cada Plano de Teste um conjunto de Casos de Teste, de forma a permitir a customização do processo. Para isso, basta selecionar os Casos de Teste no momento de vinculá-los a cada um dos projetos.

of 24

Figura 19: Selecionando apenas os Casos de Teste que o “FG Test Project” irá usar

Segue abaixo o que é o certo na composição dos PLANOS DE TESTE e estruturação da EXECUÇÃO DOS TESTES

para a distinção necessária à extração do índice de reteste.

CERTO

( 1 ) Ao menos um plano de teste no padrão “PT [nome]”.

( 2 )Ao menos os baselines “BL FASE 1 ” e “BL FASE 2”.

Se existem outros baselines (referentes a outras fases de testes – do plano de testes selecionado –

estes devem seguir o padrão de nome com “BL” antes de seu nome – ex.: “BL Regressão” associado

ao “PT Regressão”).

ERRADO!

( 1 )Plano(s) de Teste(s) cujos nome(s) está(ão) fora do padrão “PT [nome]”.

É recomendável que o nome seja uma estrutura macro, como da fase de testes, frente específica, etc (no caso do CPC, estes planos foram separados em ‘Consumo’, ‘Catálogo’, ‘Corporativo’, ...)

( 2 )Um único baseline por plano de teste, ou

1. Baselines cujos nomes estão fora do padrão “BL [fase de testes]”. o Duas devem existir: “BL Testes Integrados” e “BL Homologação”, ou

of 24

– visualização disponível a partir da opção INÍCIO da barra de menu, e opção

BASELINES/RELEASES do quadro “Gerenciar Plano de Teste” (lado direito da tela, quadro ao

alto)

2. Execução do projeto organizada por fases o No TestLink NÃO DEVEMOS USAR esta estruturação. Quando selecionando o Baseline

correspondente aparecerão os cenários e casos de testes correspondentes

– visualização disponível a partir da opção INÍCIO da barra de menu, e opção EXECUTAR TESTES do quadro “Execução do Teste” (lado direito da tela, quadro intermediário)

of 24

9 – Preparando para Executar um Teste (Criar uma nova baseline para o plano)

Figura 120: Criar/editar Baseline

Figura 131: Criar/editar Baseline

Na demonstração acima, ao criar uma baseline do TestLink estamos criando uma instância do QA planejado para aquele projeto, ou seja, estamos permitindo a execução dos Casos de Teste para o “FG Test Project”.

of 24

10 – Executando o Teste. (Executar a baseline)

O quadro abaixo mostra os status dos casos de teste durante a fase de execução:

Status Descrição Não

executado Sem atuação, ainda não esta sendo executado. No TestLink não se pode registrar execuções neste status.

Em execução Testes iniciados

Pendente Pendente de ação sem falha do mantis associada e com pendências para execução dos testes.

Bloqueado

Impossibilitado de execução devido a falhas ou depência da execução de outros CTs com falha. Deverá ser informado todos os ID do mantis que o bloqueiam, OU SEJA, o ct pode ser bloqueado por 1 falha ou N falhas.

Não se aplica Não aplicavel para execução da prestatora

Sucesso Executado com sucesso

Liberado Após o desbloqueio o cts fica liberado para testes novamente

Falha Não conforme com o detalhamento dos cts - passos e resultados esperados

Evidência de Teste: Uma evidência como um print do documento, do registro ou qualquer tipo de arquivo que possa comprovar o teste pode ser vinculado ao resultado “Passou” da execução.

Figura 22: Executa Teste. (Há o mesmo link na barra principal)

of 24

Figura 23: Tela para execução do Caso de Teste “SP-38 denovo” (ainda não executado).

Salvando um anexo a execução do Caso de Teste:

“Falha” encontrada: Para as falhas encontradas, normalmente é cadastrado um “bug” no Mantis, de forma a falha adotar o mesmo workflow dos defeitos.

(Cadastrar um bug no Mantis, ferramenta integrada ao TestLink. Para isso é necessário clicar em na coluna “Gerenciamento de Casos”. Irá abrir uma nova tela que pedirá o número do Caso, ao adicionar ficará disponível um link direto para o caso no Mantis).

Figura 24: Caso com FALHA, foco no “Anexo” e no “Gerenciamento de Casos” onde poderá anexar evidências e atribuir Bug cadastrado no Mantis, consequentemente.

of 24

O contrário também pode ser feito, utilizando o Caso de Teste (Testlink) no relato/atualização do Defeito no

Mantis.

Figura 25: Tela de relato do Defeito na ferramenta MANTIS, foco no “Caso de Teste (Testlink)”

Caso o resultado do Caso de Teste tenha sido Bloqueado, o Analista deve informar o motivo do bloqueio nas notas.

of 24

11 – Relatórios

Abaixo serão listados os relatórios que deverão ser desenvolvidos para que tenhamos visão geral tanto dos testes como de todo planejamento dos testes.

Figura 146: Relatórios e Métricas dos Casos

a – Relatório Gerencial de acompanhamento de execução Este relatório servirá como acompanhamento diário da evolução das execuções dos testes de uma forma simples e deverá ser extraído de acordo com os campos da ferramenta. O relatório em anexo foi disponibilizado pela a CLARO para ser utilizado exclusivamente nos testes Integrado entre Prestadoras no projeto da Resolução 553 Anatel – Nono Dígito. Segue em anexo relatório que deverá ser automatizado na ferramenta TestLink. Com as opções de gerar relatório e extrair para o EXCEL (com a planilha do EXCEL com todas as permissões liberadas, exemplo: editar, alterar, excluir entre outras). Este relatório será utilizado para envio do Status Report Diário das prestadoras como um todo.

Nono_digito_Status_Report_V01.xls

of 24

b – Métricas gerais do Plano de Teste Aqui podemos acompanhar a evolução das execuções de vários “testes” (releases) de uma forma simples.

Figura 15: Tela das Métricas Gerais do Plano de Teste “FG Test Project”

of 24

Além de automatizar os relatórios em anexo ao documento, realizar parametrização em outros relatórios nativos da ferramenta, considerando:

Relatório e gráficos de execuções de casos de teste por executor e grupos de executores, em um determinado período;

Relatório e gráficos apresentando por dia e cenário de testes a quantidade de casos liberados e totais de casos por status de um determinado período;

Será necessário que seja apresentada a quantidade total de cenários de teste disponíveis neste relatório

Relatório de quantidade de casos de teste por defeito;

Relatório com a quantidade de casos executados por dia;

Relatório de casos de teste bloqueados e que apresente a frente responsável por ID Mantis.

12 – Grupos de usuários para execução dos testes Disponibilizar a execução de cenário e/ou caso de teste para mais de um executor. Possibilitar o cadastramento de grupos de executores, mantendo a rastreabilidade/identificação na ferramenta do usuário que executou o teste. A ferramenta deverá exibir todos os campos para alterações, somente para o usuário que abriu o ID mantis, Manager ou ADM, o perfil desenvolvedor deverá exibir/alterar/incluir notas e alterar status, onde seja diferente de “reaberto, reteste ou fechado”, o perfil atualização poderá somente adicionar notas ao ID mantis.

13 - TestLink X Mantis No TestLink quando o Caso de testes com status “Falha” passar para outro status qualquer, a ferramenta deverá verificar se o ID Mantis XXX associado a falha está com status fechado, caso negativo, a ferramenta deverá abrir uma mensagem informando que status não poderá ser alterado pois existe o ID XXX do mantis com status diferente de Fechado. (Para alterar status é necessário fechar o ID mantis associado primeiro). Após o ID Mantis for alterado para fechado, caso existam cts bloqueados associados a falha, a ferramenta deverá automaticamente liberar os cts para execução ou retirar a dependência dos ct’s bloqueados , mantendo o bloqueio caso esteja também impactado por outros ID’s Mantis. Além permitir abertura de uma falha para um caso de teste específico, permitir também abertura de uma falha para o cenário que contenha N casos de testes, falhando assim todos os casos que estejam contidos nesse cenário. A partir do momento que o ID Mantis for fechado o cenário deverá ser desbloqueado por completo.

14 – Mantis X TestLink Quando algum ID Mantis for colocado com status fechado, a ferramenta deverá automaticamente abrir o TestLink “forçando” que o testador/analista , atualize o status do CT com falha, para outro status. Se status alterado for “sucesso”, e existam cts bloqueados ao ID Mantis em questão, a ferramenta deverá automaticamente liberar os cts para execução ou retirar a dependência dos ct’s bloqueados referente a este ID Mantis, mantendo o mesmo bloqueado caso tenha algum outro bloqueio por outro ID Mantis.

of 24

Deverá ser implementar funcionalidade quando informado no ID Mantis os cts bloqueados (Ex. ct001, ct002 e ct006), a ferramenta deverá automaticamente, bloquear esses cts no TestLink, garantindo integridade/rastreabilidade nas ferramentas. O campo destinado a indicar os ct´s impactados por um determinado id Mantis deve conter um link direto para cada caso impactado, permitindo que os ct´s sejam rapidamente visualizados.

Requisitos Ferramenta Testlink Projeto Resolução 553 CN 11 ......( 1 )Plano(s) de Teste(s) cujos...

Documents

Transcript of Requisitos Ferramenta Testlink Projeto Resolução 553 CN 11 ......( 1 )Plano(s) de Teste(s) cujos...