A UTILIZAÇÃO DE MÉTODOS

ESTATÍSTICOS NO PLANEJAMENTO E

ANÁLISE DE ESTUDOS EXPERIMENTAIS

EM ENGENHARIA DE SOFTWARE (FONTE:

ESELAW’09 MARCOS ANTÔNIO P. & GUILHERME H. TRAVASSOS)

Aluna: Luana Peixoto Annibal1

ESELAW 2009

OBJETIVO

� Apresentar técnicas estatísticas utilizadas no planejamento e análise de estudos experimentais em ES

� Breve introdução aos conceitos de estudos experimentais e estatística

� Indicações concretas da aplicabilidade destas � Indicações concretas da aplicabilidade destas técnicas

� Abordagem prática das técnicas estatísticas com exemplos reais

2

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

3

ESELAW 2009

EXPERIMENTAÇÃO E ES

� As engenharias (Engenharia de Software) baseiam no uso de pesquisas científicas para construir produtos e serviços economicamente viáveis

� Pesquisas científicas� Pesquisas científicas� Propostas inovadoras� Avaliação dos resultados atingidos pela aplicação

destas inovações

4

ESELAW 2009

EXPERIMENTAÇÃO E ES

� Existem diferentes métodos de avaliação para pesquisa� Métodos científicos

� Modelos são construídos a partir da observação do mundo

� Método de engenharia

� Técnicas atuais são analisadas, são identificadas fraquezas, inovações são propostas e comparadas com as fraquezas, inovações são propostas e comparadas com as técnicas anteriores

� Método experimental

� Modelos são construídos e avaliados através de estudos experimentais

� Método analítico� Teorias formais são propostas e seus resultados são

comparados com observações do mundo real 5

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

6

ESELAW 2009

ESTUDOS EXPERIMENTAIS

Identificação das variáveis

7

ESELAW 2009

Variáveis controláveis

ESTUDOS EXPERIMENTAIS

Levantamento de Hipóteses e materiais

de estudo

Levantamento de objetivo e grupo de

estudo

8

ESELAW 2009

Validação das hipóteses (análise estatística)

Treinamento e execução pelos participantes

PLANEJAMENTO E HIPÓTESE

� Planejamento

� Formulação da hipótese

� Identificação das variáveis independentes (fatores)

� Elemento de causa� Fatores – variáveis controláveis

� Identificação das variáveis dependentes (resposta)

Afetadas durante o processo de experimentação� Afetadas durante o processo de experimentação

� Seleção dos participantes

� Projeto de estudo

� Seleção dos métodos de análise

� Definição dos instrumentos

� Análise de ameaças (validity threats)

9

ESELAW 2009

PLANEJAMENTO E HIPÓTESE

� Hipóteses

� Uma hipótese é uma teoria ou suposição que pode

explicar um determinado comportamento de interesse

da pesquisa

� Estudos experimentais tem como objetivo coletar dados em um ambiente controlado para rejeitar ou não uma hipótesehipótese

� Utilizando a técnica Y os desenvolvedores concluem a

atividade de análise de requisitos em menos tempo e com um

conjunto de requisitos mais completo do que utilizando a

técnica X

� Variáveis independentes� Técnica utilizada, caracterização dos desenvolvedores,

caracterização da aplicação

� Variáveis dependentes� Tempo de execução e % de requisitos correlatos encontrados

10

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

11

ESELAW 2009

VARIÁVEIS E SEUS VALORES

� Variáveis podem ser qualitativas e quantitativas

� Os valores das variáveis são coletados em escalas � Nominal

� Representa diferentes tipos de elementos� Diferentes linguagens de programação – Java, C++, C#, Pascal, ...)

� Ordinal� Representa diferentes tipos de elementos de maneira ordenada, mas sem

qualquer interpretação numéricaqualquer interpretação numérica� Diferentes níveis de CMMI (nível 1, ..., nível5)

� Intervalar� Distâncias são estabelecidas a partir de um zero arbitrário (ano zero ≠ zero

absoluto)� Escala de Likert (muito alto, alto, médio, baixo, muito baixo) – impossível

averiguar a distância entre esses no mundo real, mas assume-se que seja próxima

� Razão� Seus valores permitem que interpretar razões, ordenações e distâncias

(proximidade) entre o valores consecutivos� Um software com X linhas é 2 vezes menor que um software com 2x

linhas de código12

ESELAW 2009

VARIÁVEIS E SEUS VALORES

Mais informação

13

ESELAW 2009

VARIÁVEIS E SEUS VALORES

� Exemplo

� Utilizando a técnica Y os desenvolvedores concluem a atividade de análise de requisitos em menos tempo e com um conjunto de requisitos mais completo do que utilizando a técnica X

� Variáveis independentesTécnica utilizada� Técnica utilizada� Escala nominal

� Caracterização dos desenvolvedores e da aplicação� Escala nominal ou ordinal

� Variáveis dependentes� Tempo de execução

� Escala razão

� % de requisitos correlatos encontrados� Escala razão 14

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

15

ESELAW 2009

TABULAÇÃO DOS RESULTADOS

16

ESELAW 2009

Medidas de tendência central, dispersão e dependência podem ser utilizadas em conjunto com a análise gráfica para que o analista tenha um melhor “entendimento” sobre os dados

VISUALIZAÇÃO GRÁFICA

� São mais fácil e rápidos de entender em comparação a dados tabulados� Cuidado com as conclusões

� Métodos do representação gráfica � Histograma� Histograma cumulativo

Depende do tipo de variável: contínua ou

discreta� Histograma cumulativo� Gráfico em pizza� Diagrama de dispersão

� Cada eixo representa uma variável

� Identificação de outliers e sua possível eliminação

� Gráfico de controle� Observação do comportamento dos dados quantitativos� Caracterizado por três linhas – linha média, limite superior

(ICL) e limite inferior (LCL)� Comportamento sob controle � valores oscilando em torno da

linha média e dentro da faixa entre o UCL e o LCL 17

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

18

ESELAW 2009

ESTATÍSTICA DESCRITIVA

� Descreve características relevantes dos dados coletados e sua distribuição

� Medidas de tendência central� Média

� Somatório dos dados dividido por sua quantidade

� Mediana� Valor do meio de um conjunto de dados

� Moda� Valor de maior frequência (mais comum)

� Valor mínimo

� Valor máximo

� Percentil� É o valor que divide a amostra na porcentagem X

� Quartil� Os valores que representam a amostra no percentil 25%, 50% e

75% - respectivamente 1º, 2º e 3º quartil19

ESELAW 2009

MEDIDAS DE DISPERSÃO

� Faixa� Diferença entre o maior e menor valor da amostra

� Variância �� Quão longe está do valor esperado

� Desvio padrãoDesvio padrão� Raiz quadrada da variância

20

ESELAW 2009

DISTRIBUIÇÃO DE FREQUÊNCIA

� Distribuições clássicas� Normal, uniforme, beta ...

� Distribuição normal� Importante para alguns métodos estatísticos� Formato de sino

Pode-se levantar hipótese dessa distribuição ao analisar um � Pode-se levantar hipótese dessa distribuição ao analisar um histograma

� Curva � Média� Largura � Desvio padrão

21

ESELAW 2009

MEDIDAS DE DEPENDÊNCIA

� Quando duas ou mais variáveis estão relacionadas em um estudo, é útil calcular o grau de dependência entre elas

� Essas medidas determinam a força e a direção do relacionamento entre as variáveis� Mais comum é o coeficiente de correlação� Mais comum é o coeficiente de correlação� Uma correlação de valor -1

� Um alto valor em uma variável ocorre em conjunto com um baixo valor da segunda

� Uma correlação de valor 1� Um alto valor em uma variável ocorre em conjunto com

um alto valor da segunda � Uma correlação próxima a 0

� Não podemos inferir nenhum relacionamento entre as variáveis 22

ESELAW 2009

EXEMPLO DE CORRELAÇÃO

23

ESELAW 2009

MEDIDAS DE CORRELAÇÃO

� Correlação de Pearson � Quantifica a correlação entre duas variáveis� Força de associação linear� Aplicados a valores que parecem seguir uma

distribuição normal

� Correlação de Spearman� Baseia se no ranking dos valores coletados� Aplicados aos valores que parecem não seguir uma

distribuição normal� Relação em formato de curva (não linear)

24

ESELAW 2009

ANÁLISE DE REGRESSÃO

� Fornece uma equação que descreve a natureza do relacionamento

� Análise de Regressão Linear Simples� Predizer o valor de variáveis dependentes baseado

no valor de apenas uma variável independenteno valor de apenas uma variável independente

25

ESELAW 2009

ESTATÍSTICA DESCRITIVA

26

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

27

ESELAW 2009

REMOÇÃO DE OUTLIERS

� Outliers � valores extremos� Podem representar erros

� De aplicação, digitação, interpretação, etc

� São removidos antes de se aplicar as técnicas de inferência estatística

� É importante verificar sua origem� Podem ser informações válidas

Podem ser visualmente identificadas através de gráficos � Podem ser visualmente identificadas através de gráficos de dispersão e box-plots� A uma distância X (percentil, desvio, quartil) da média ou mediana

28

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

29

ESELAW 2009

TIPOS DE ESTUDOS EXPERIMENTAIS

30

ESELAW 2009

TESES DE HIPÓTESE

� Definição das hipóteses� Sempre lida com algum tipo de risco, que implica em

um erro de análise� Erro de tipo I

� O teste estatístico indica um relacionamento entre causa e efeito e o relacionamento real não existe

� Rejeita H0 quando esta é verdadeira

� Erro de tipo II� Não indica relacionamento entre causa e efeito, mas existe

este relacionamento� Não rejeita H0 quando esta é falsa

� Hipótese Nula (H0) é normalmente construída de forma a minimizar erros do tipo I� É a hipótese que o analista quer rejeitar com maior

significância possível31

ESELAW 2009

TESES DE HIPÓTESE

� Procedimentos

� Fixar o nível de significância do tese (definir H0)

� Obter uma estatísticas que tenha distribuição

conhecida sob H0 (estimador do parâmetro)

� Através das estatísticas de teste e do nível de

significância, construir a região crítica

Usando as informações amostrais, obter o valor da � Usando as informações amostrais, obter o valor da

estatística (estimativa)

� Se valor da estatística pertencer à região crítica,

rejeita-se H0, aceitando-se a hipótese alternativa

� Caso contrário, não se rejeita H0 e nada pode se

afirmar a respeito sobre H1

32

ESELAW 2009

NÍVEL DE SIGNIFICÂNCIA

� Indica a probabilidade de cometer um erro tipo I� Os níveis de significâncias (Y) mais utilizados são 5%,

10%, 1%, 0.1%� Chamado de p-value

� É o menor nível de significância que se pode rejeitar a hipótese nula

33

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

34

ESELAW 2009

TIPOS DE TESE DE HIPÓTESE

� Dois grupos� Testes paramétricos

� Utilizam fórmulas fechadas� Presumem distribuições de frequência� Seguem as premissas de normalidade e homocedasticidade

(variáveis com variâncias similares)

� Teste não-paramétricos (menos poderoso)� Teste não-paramétricos (menos poderoso)� Não atendem aos pressupostos de teses paramétricos� Presumem distribuições de probabilidade

35

ESELAW 2009

PRÉ-TESTE PARAMÉTRICOS

� Teste de normalidade� Teste de Shapiro-Wilk

� Calcula o valor W para avaliar se a amostra segue a distribuição normal� Valor W pequeno indica não normalidade

� Utilizado com amostras com menos de 50 valores

Teste de homocedasticidade� Teste de homocedasticidade� Teste de Levene

� Considere uma variável Y, com N valores divididos em k grupos, onde Ni é o número de valores no grupo i

� O teste de Levene aceita a hipótese de que as variâncias são homogêneas se o valor W for menor do que o valor da distribuição F

� Os valores da distribuição F estão disponíveis em tabelas e softwares estatísticos

36

ESELAW 2009

TIPOS DE TESE DE HIPÓTESE

37

ESELAW 2009

AGENDA

� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência

Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos

38

ESELAW 2009

EXEMPLO

� O exemplo baseia-se na análise da utilização de uma técnica para detecção de defeitos em requisitos de software

� Esta técnica foi desenvolvida originalmente na língua inglesa e tinha-se dúvida se deveria ser traduzida para o português para ser utilizada no contexto dos cursos de pós-graduação em no contexto dos cursos de pós-graduação em engenharia de software da COPE/UFRJ

� Desta forma, o objetivo principal deste estudo experimental é verificar se existem diferenças significativas na utilização da técnica nas versões em inglês e português, em relação ao tempo, número de discrepâncias e defeitos encontrados

39

ESELAW 2009

EXEMPLO

� Estudo experimental� 19 participantes� 2 grupos

� Primeiro grupo (EP)� 11 participantes e técnica para o Inglês

� Segundo grupo (PP)� 8 participantes e técnica para o Português

40

ESELAW 2009

TESTE T

� Utilizado para duas amostras independentes� Variáveis são quantitativas� Não são conhecidas as variâncias populacionais� Amostras independentes – cada participante integrou

exclusivamente um grupo

� As análises foram feitas utilizando o pacote estatístico SPSS

41

ESELAW 2009

ANÁLISE PARA A VARIÁVEL TEMPO

� Outliers moderados

� Aparente grande

variabilidade entre as

duas amostras

� Mas a correta conclusão

é obtida por um teste

estatístico apropriado

42

ESELAW 2009

ANÁLISE PARA A VARIÁVEL TEMPO

� O Teste T para duas amostras independentes

exige que as amostras sigam uma distribuição

normal

� Desta forma, tem-se um primeiro teste de hipótese

a ser feito, considerando um nível de significância a ser feito, considerando um nível de significância

de 5%, sendo:

� H0: A distribuição é normal

� H1: A distribuição não é normal

43

ESELAW 2009

TESTE DE NORMALIDADE

� Teste de Kolmogorov-Smimov para amostras com mais de 30 elementos

� Teste de Shapiro-Wilk para amostras com menos de 50 elementos

� No teste de Shapiro-Wilk, ambos os valores de significância (Sig) é superior a 0.05 (p-value 5%), portanto não há indícios para rejeitar H0� A distribuição da amostra para a variável Tempo é normal

44

ESELAW 2009

TESTE DE HOMOCEDASTICIDADE

� Teste de Levene� Teste de hipótese com um nível de significância de

5%� H0: as variâncias são iguais ([2 GrupoEP = [ 2GrupoPP)� H1: as variâncias são diferentes ([2 GrupoEP ≠ [ 2GrupoPP)

� Como o valor de significância assume valor maior que p-value (o.o5) então não rejeita H0� As variâncias são iguais 45

ESELAW 2009

ANÁLISE PARA A VARIÁVEL TEMPO

� Teste paramétricos sobre a variável tempo� Teste de hipótese com nível de significância de 5%

� H0: As médias são iguais (µGrupoEP = µGrupoPP)� H1: As médias são diferentes

� Como o valor de significância Sig.(2-tailed) = 0.513 para a condição de igualdade das variâncias é maior que o p-value (0.05). Assim não se rejeita H0� Concluindo-se que as médias são iguais

� Outra maneira é analisando que o valor zero está entre os valores superior e inferior do intervalo de confiança 46

ESELAW 2009

CONCLUSÃO

� Não há diferenças significativas em relação à variável tempo na utilização de técnica de detecção de defeitos na suas versões em inglês em e em português para esse grupo de pesquisadores

47

ESELAW 2009

REFERÊNCIA

� The Use of Statistical Methods for Planning and Analyzing Experimental Studies in Software Engineering Area –Guilherme Horta Travassos (Associate Prof. -COPPE/UFRJ) and Marco Antônio Pereira Araújo (PhD COPPE/UFRJ). ESELAW’09

48

ESELAW 2009