At Ma Qualidade Molinari V11 Final Version

38
Automação de Testes de Má Qualidade Como Evitar Leonardo Molinari

description

Palestra no evento da ALATS/2009 - primeiro semestre - ministrada por Leonardo Molinari

Transcript of At Ma Qualidade Molinari V11 Final Version

Page 1: At Ma Qualidade Molinari V11 Final Version

Automação de Testesde Má Qualidade

Como Evitar

Leonardo Molinari

Page 2: At Ma Qualidade Molinari V11 Final Version

2

Técnicas de Testes Funcionais

“Esvazie sua xícara primeiro, só então você poderá provar meu chá. Afinal de contas a

utilidade da xícara está em poder esvaziar-se. Abra sua mente para receber novas idéias.”

Bruce Lee

Page 3: At Ma Qualidade Molinari V11 Final Version

3

Agenda

Problemas Tradicionais na Automação Problemas de Estimativas Quando a A.T. Funcionais é Ruim Quando a A.T. de Performance é Ruim Técnica Avançada: HVTA Transformando a A.T. Positivamente

Page 4: At Ma Qualidade Molinari V11 Final Version

4

Teste de Software

Page 5: At Ma Qualidade Molinari V11 Final Version

A Empresa

Primeira empresa offshore testing com capital 100% nacional a atuar no

disputado mercado norte-americano.

Uma das primeiras consultorias brasileiras a implementar com sucesso o

conceito de Bureau de testes.

Automação de Testes – Pleno domínio das principais soluções de

Governança de Testes do mercado e opensource.

Atendimento “on demand” para projetos de teste de software

Soluções completas de teste

Our core business is Software Testing!

Page 6: At Ma Qualidade Molinari V11 Final Version

Produtos e Serviços

Fábrica de Testes• Solução completa de teste

Alocação de Profissionais (Professional Testers!)• Profissionais capacitados

Automação de Testes• Implantação e operacionalização

Consultoria• Desenvolvimento e operacionalização de Processo de Testes e Quality

Assurance – sob medida

Treinamentos• Formação de profissionais e equipe de teste

www.mzpsoft.com.br

Page 7: At Ma Qualidade Molinari V11 Final Version

Cases

Base de Clientes ``Blue Chip``

UOLGXS - INTERCHANGE

RECALLBORLANDSINDAN

AUDATEX

Alguns ClientesScopus

TelefônicaTask Sistemas

CopelTriad Systems

FinepAquáriosTlantic

SKFScaniaGXS

T-SystemsCaixa

MXM SistemasAvon

Parcerias Estratégicas

Borland – Compuware – Talentfour Tech4b – GPTI – ALATS – EFTI - Didata

Interadapt TV Globo Itaú Synchro SYS Elucid

Montreal Okto

Page 8: At Ma Qualidade Molinari V11 Final Version

8

Problemas Tradicionais na Automação de Testes

Agenda

Page 9: At Ma Qualidade Molinari V11 Final Version

9

Inovação

Fonte: IPEA, 2008

Page 10: At Ma Qualidade Molinari V11 Final Version

10

Inovação

Fonte: Instituto Inovação, 2008

Page 11: At Ma Qualidade Molinari V11 Final Version

Fato

Introduzir Testes Automatizados é usar conceitos de Inovação em Testes

É introduzir Inovação na Empresa

Page 12: At Ma Qualidade Molinari V11 Final Version

12

Desafios Atuais de Teste Manual

• 4 QA eng -> somente 20% de cobertura de teste;

• Qualidade Geral Sofre;

• Trabalho de Teste Manual pode não entregar a tempo;

• Número excessivo de erros de execução de testes manual;

• Cronogramas de teste podem ser prejudicados

Teste Automatizado

Uso Sábio de Automação

• Aumento da cobertura de teste de modo a alcançar 80%-90% com recursos existentes.

Problemas Tradicionais na

Automação de Testes

Page 13: At Ma Qualidade Molinari V11 Final Version

13

Problemas Tradicionais na

Automação de Testes

QUANTO valerá automação?

• Depende de sua ambição....

Page 14: At Ma Qualidade Molinari V11 Final Version

14

Problemas Tradicionais na

Automação de Testes

QUANDO vale a pena usar automação:• Automação de testes precisa ser aprendida

corretamente • Automação de testes não substitui uma equipe de

testes • Nem tudo pode ser testado mesmo usando

automação • Nem tudo que pode ser testado se precisará

automatizar • Os testes automatizados precisam ser

constantemente atualizados • Inicialmente a automação custa tempo e dinheiro • O planejamento de testes não deve ignorado

Page 15: At Ma Qualidade Molinari V11 Final Version

15

Problemas Tradicionais na

Automação de Testes

Oba!!!! Vamos sair automatizando:• Cuidado!!!! Perigo! Perigo!

• Testes são pesados: vale a pena automatizar• Teste é pontual: não automatizar;• Automatizar não resolve tudo: não é panacéia;• Tenha sempre um engenheiro de testes junto!!!• Experiência dos testes manuais: use-a!!!

Page 16: At Ma Qualidade Molinari V11 Final Version

16

Problemas Tradicionais na

Automação de Testes O que você pensa que está certo...

• Qualidade Percebida X Real• O bug que o diretor viu…

• Desenvolvedores não testam• Ups…

• Confiando demais em itens de construídos na aplicação para serem usados nos testes

• Log

• Mudando a Interface e esquecendo dos testes automatizados

Page 17: At Ma Qualidade Molinari V11 Final Version

17

Problemas Tradicionais na

Automação de Testes O que você pensa que está certo...

• Confiar em somente um engenheiro de testes

• Inibir a Inovação• O cronograma já está pronto• Testes de regressão devem levar em

consideração• Acertos de scripts que não funcionam• Entender o que já funcionava (script)

Page 18: At Ma Qualidade Molinari V11 Final Version

18

Problemas de Estimativas de Automação

Agenda

Page 19: At Ma Qualidade Molinari V11 Final Version

19

Problemas de Estimativas de

Automação

Principais Grandes Falhas:• Cuidado!!!! Perigo! Perigo!

• Fazendo as Perguntas Erradas• Arrumando as Atividades Estimadas de forma

Errada• Falhando ao entender o efeito da multiplicidade• Inconsistência nos critérios de medição• Não compensar riscos e dependências

Page 20: At Ma Qualidade Molinari V11 Final Version

20

Problemas de Estimativas de

AutomaçãoFalhando ao entender o efeito da multiplicidade

Page 21: At Ma Qualidade Molinari V11 Final Version

21

Problemas de Estimativas de

AutomaçãoInconsistência nos critérios de medição

Dias? Meses ? Anos? Minutos ?

Page 22: At Ma Qualidade Molinari V11 Final Version

22

Quando a Automação de Testes Funcionais é Ruim

Agenda

Page 23: At Ma Qualidade Molinari V11 Final Version

23

Quando a Automação de Testes Funcionais

é Ruim O que você pensa que está certo...

• Desenvolver script =/= programação• Não modularizar scripts =/= reutilização• Ups não testei o script• O que o script faz?• A ferramenta é uma porcaria• Não usou data-driving testing• Em vez de pensar primeiro, saiu gravando…

• Objetivos

Page 24: At Ma Qualidade Molinari V11 Final Version

24

Quando a Automação de Testes Funcionais

é Ruim O que você pensa que está certo...

• Não investigou como a aplicação funciona primeiro

• Acha que está bom e que não pode fazer melhor

• Não estudou corretamente a ferramenta• Não foi além da ferramenta• Gravou tudo num super-script

Page 25: At Ma Qualidade Molinari V11 Final Version

25

Quando a Automação de Testes de Performance é Ruim

Agenda

Page 26: At Ma Qualidade Molinari V11 Final Version

26

Quando a Automação de Testes de

Performance é Ruim O que você pensa que está certo...

• Desenvolver script =/= programação• Não modularizar scripts =/= reutilização• Ups não testei o script• O que o script faz?• A ferramenta é uma porcaria• Não usou data-driving testing• Em vez de pensar primeiro, saiu gravando…

• Objetivos

Page 27: At Ma Qualidade Molinari V11 Final Version

27

Quando a Automação de Testes de

Performance é Ruim O que você pensa que está certo...

• Não entendeu conceitos de Performance• Não investigou como a aplicação funciona • Não estudou corretamente a ferramenta• Depois dos testes, não analisou:

• Logs • Gráficos• Métricas obtidas

• Não questionou os resultados dos testes

Page 28: At Ma Qualidade Molinari V11 Final Version

28

Técnica Avançada: HVTA

Agenda

Page 29: At Ma Qualidade Molinari V11 Final Version

29

Técnica Avançada: HVTA

HVTA• High Volume Test Automation

• Qtde de Casos de Testes Criados

• Qtde de Casos de Testes que podem ser gerados

Page 30: At Ma Qualidade Molinari V11 Final Version

30

Técnica Avançada: HVTA

HVTA• High Volume Test Automation

• Perguntas:– Quantos testes precisa criar para automatizar tudo?– Quantos scripts automatizados você criou?– Você já explorou novas situações de teste mesmo a

aplicação já estando OK?– Você já usou variáveis aleatórias (input) como dados

de entradas?– Os seus scripts dependem sempre dos meus dados

para teste? E se mudarmos?

Page 31: At Ma Qualidade Molinari V11 Final Version

31

Técnica Avançada: HVTA

HVTA• High Volume Test Automation

• Importante:– Estratégia de Solução que busca ter dados de teste

independente da sua tradicional.» Uma nova execução de teste nunca será igual a

anterior Testes Aleatórios

• Trata do problema:– Independente script X dependente script

Page 32: At Ma Qualidade Molinari V11 Final Version

32

Transformando a Automação de Testes Positivamente

Agenda

Page 33: At Ma Qualidade Molinari V11 Final Version

33

Transformando a Automação de Testes

Positivamente Principais Pontos:

• No planejamento• Definir objetivos e concordar com eles

• Na criação de scripts• Crie padrões e guidelines• Revise aleatoriamente alguns scripts / pessoa• Projete os scripts para reuso• Projete scripts manuteníveis

• Geral• Gere relatórios de teste de forma clara• Automatize pequenas tarefas. Ex: criação de BD• Não esqueça da Gerência de Configuração• A.T. ë um projeto dentro de um projeto de testes.

Page 34: At Ma Qualidade Molinari V11 Final Version

34

Bonus Track

Page 35: At Ma Qualidade Molinari V11 Final Version

Bonus Track

Inovação em Testes XE Testes de Performance

Page 36: At Ma Qualidade Molinari V11 Final Version

Prefácio de:

Hélio Amauri Sanchez

Diretor da MZP

Page 37: At Ma Qualidade Molinari V11 Final Version

37

Para Pensar...

“Questione ou você será questionado. Não faça nada que nada você fará.”

• Leonardo Molinari

Page 38: At Ma Qualidade Molinari V11 Final Version

38

Dúvidas

Muito Obrigado !!!! Leonardo Molinari Site da MZP: http://www.mzpsoft.com.br E-mail 1: [email protected] Blog: http://diariodaqualidade.blogspot.com