Inserindo Credibilidade Estatística aos Resultados de uma ... · Conteúdo Revisão de...
Transcript of Inserindo Credibilidade Estatística aos Resultados de uma ... · Conteúdo Revisão de...
Avaliação de Desempenho
Prof. Kleber Rezende
Inserindo Credibilidade Estatística aos
Resultados de uma Avaliação de Desempenho
Conteúdo
Revisão de Probabilidade e Estatística: Média;
Desvio Padrão;
Distribuição Normal de Probabilidades.
Inserindo Credibilidade Estatística aos Resultados
de uma Avaliação de Desempenho: Intervalo de Confiança da Média;
Comparação de Sistemas;
Exercícios;
2 Inserindo Credibilidade Estatística
Revisão
3 Inserindo Credibilidade Estatística
Média: • É o valor que aponta para onde mais se concentram os dados de uma
distribuição.
• É calculada somando-se todos os valores da população e dividindo o
resultado pelo total de elementos da população.
Exemplo: • Uma amostra de 5 barras de aço foi retirada da linha de produção e seus
comprimentos foram medidos. Os valores foram: 4,5; 4,6; 4,5; 4,4; 4,5.
Revisão
4 Inserindo Credibilidade Estatística
Desvio Padrão: • Mostra o quanto de variação ou “dispersão” existe em relação à média
(ou valor esperado).
• Um baixo desvio padrão indica que os dados tendem a estar próximos da
média; um desvio padrão alto indica que os dados estão espalhados por
uma gama de valores.
• É calculado como a raiz quadrada de variância.
• Variância é o somatório dos quadrados das diferenças entre cada valor
da amostra pela média dividido pelo tamanho da amostra.
Revisão
5 Inserindo Credibilidade Estatística
Desvio Padrão (Exemplo 1): • Se medirmos a temperatura máxima durante três dias em uma cidade e
obtivermos os seguintes valores, 28°, 29° e 30°, podemos dizer que a
média desses três dias foi 29°.
• Em outra cidade, as temperaturas máximas nesses mesmos dias podem
ter sido 22°, 29° e 35°. No segundo caso, a média dos três dias também
foi 29°.
• As médias têm o mesmo valor, mas os moradores da primeira cidade
viveram três dias de calor, enquanto os da segunda tiveram dois dias de
calor e um de frio.
Revisão
6 Inserindo Credibilidade Estatística
Desvio Padrão (Exemplo 1):
• Para diferenciar uma média da outra, foi criada a noção
de desvio padrão, que serve para dizer o quanto os
valores dos quais se extraiu a média são próximos ou
distantes da própria média.
• No exemplo anterior, o desvio padrão da segunda
cidade é muito maior que o da primeira.
Revisão
7 Inserindo Credibilidade Estatística
Desvio Padrão (Exemplo 2):
• Uma das aplicações mais comuns do desvio padrão é
para cálculo da classificação no vestibular.
• Se dois candidatos ao mesmo curso tiram nota 7 em
provas diferentes, o peso desse resultado vai depender
do desvio padrão de cada exame.
• Digamos que a média das notas nas duas provas tenha
sido 5.
Revisão
8 Inserindo Credibilidade Estatística
Desvio Padrão (Exemplo 2):
• Aquele que obteve 7 na prova cujo desvio padrão foi
menor, será mais considerado porque significa que ele
conseguiu um 7 em um exame em que quase todo
mundo ficou próximo a 5.
• Enquanto o outro conquistou um 7 em uma prova
onde muitos outros também tiraram notas altas.
Revisão
9 Inserindo Credibilidade Estatística
Desvio Padrão (Exemplo 3): • Vídeo sobre Variância e Desvio Padrão - Dados
agrupados
• Uma pesquisa foi realizada com um grupo de 20
trabalhadores. Cinco disseram ganhar entre 5 e 10
salários mínimos (SM), outros 8 ganham entre 10 e 15
SM, 4 ganham entre 15 e 20 SM e 3 afirmaram ganhar
entre 20 e 25 SM. Calcule a média salarial e o desvio
padrão para o grupo de trabalhadores entrevistados.
Revisão - Exercício
10 Inserindo Credibilidade Estatística
Imagine a seguinte situação:
O dono de uma microempresa pretende saber, em média, quantos produtos são produzidos por cada funcionário em um dia. O chefe tem conhecimento que nem todos conseguem fazer a mesma quantidade de peças, mas pede que seus funcionários façam um registro de sua produção em uma semana de trabalho. Ao fim desse período, chegou-se à seguinte tabela:
Revisão - Exercício
11 Inserindo Credibilidade Estatística
Calcule a média, a variância e o desvio
padrão da produção diária de cada funcionário.
Revisão
12 Inserindo Credibilidade Estatística
Distribuição Normal de Probabilidades
Revisão
13 Inserindo Credibilidade Estatística
Revisão - Exercício
14 Inserindo Credibilidade Estatística
O salário médio dos funcionários de uma empresa é de R$ 800,00, com desvio padrão de R$ 300,00. Qual a probabilidade de que, selecionando-se aleatoriamente um funcionário, ele receba:
a) entre R$ 650,00 e R$ 1.100,00
b) mais de R$ 900,00
c) menos de R$ 500,00
Intervalo de Confiança da Média
15 Inserindo Credibilidade Estatística
Introdução
Durante a avaliação do desempenho de um sistema, deve-se ter alguns cuidados:
i. Esperar até que o sistema atinja certo grau de estabilidade (warm-up) – compreende cerca de 10% do tempo inicial do processo;
ii. Definição de um Intervalo de Confiança (IC), que consiste em um intervalo de valores com alta probabilidade de conter a verdadeira média populacional.
Intervalo de Confiança da Média
16 Inserindo Credibilidade Estatística
Está sempre associado a um grau de confiança
Exemplo: se o grau de confiança for de 95%, significa que existe 95% de probabilidade de a média da população se situar entre os limites do intervalo calculado.
Por outro lado, se a média real estiver fora desse intervalo, significa que a amostra não representa, satisfatoriamente, a população.
Intervalo de Confiança da Média
17 Inserindo Credibilidade Estatística
Obtém a estimativa de que a média de um sistema analisado esteja contida em um intervalo, onde a probabilidade de a média estar contida nesse intervalo seja igual a um nível de confiança desejado:
Prob{c1<c<c2} = 1-α onde:
(c1, c2) é o intervalo de confiança, em que c1 é o limite inferior e c2 é o limite superior do intervalo;
α é o nível de significância;
100(1 – α) é o nível de confiança
Na avaliação de sistemas computacionais, o valor geralmente usado para o nível de confiança varia de 90% a 99%.
Intervalo de Confiança da Média
18 Inserindo Credibilidade Estatística
Exemplo: Uma conexão Fast Ethernet entre duas redes locais foi analisada para verificação do tempo médio de resposta de transmissão de dados entre as duas redes. O gerente da rede tinha o cálculo do intervalo de confiança do tempo de resposta de transmissão em um arquivo de 1 GB, que variava de 90,34 segundos a 93,01 segundos, dependendo do tráfego no link, com 90% de confiança. Portanto, tem-se:
Prob{90,34≤m ≤ 93,01} = 0,9
e
100 (1 - α) = 90 → α = 0,1
Teorema do Limite Central
19 Inserindo Credibilidade Estatística
Este teorema diz que a aproximação do histograma das
médias amostrais para a distribuição Normal melhora à
medida que o tamanho amostral cresce. Isto permite que,
independentemente do tipo da distribuição da população,
seja possível inferir dados e realizar os cálculos desejados
para essa população.
Teorema do Limite Central
20 Inserindo Credibilidade Estatística
No caso do cálculo do Intervalo de Confiança, deseja-se conhecer o limite inferior e o limite superior onde a média das amostras se localiza com um certo nível de confiança.
Assim, para um nível de confiança de 100 (1-α)%, o IC pode ser calculado por:
Limite inferior:
Limite superior:
onde: é a média das amostras
s é o desvio padrão
n é o tamanho da amostra
é um (1-α/2) quantil de uma Normal (significa o número de desvios padrões que se estendem da média de uma distribuição Normal necessário para conter 1-α/2 da área).
nZX
2/1
nZX
2/1
X
2/1 Z
21
Teorema do Limite Central
22 Inserindo Credibilidade Estatística
Exemplo 1: Calculando z para um nível de confiança de 90%.
Exemplo 2: Calculando z para um nível de confiança de 95%.
645,195,02
1,01
21 ze
960,1975,02
05,01
21 ze
Teorema do Limite Central
23 Inserindo Credibilidade Estatística
Exemplo 3: Trinta e quatro amostras de tempo de resposta foram coletadas de uma rede de computadores em diferentes momentos. O conjunto M representa as amostras coletadas (milissegundos):
M={840, 860, 850, 840, 860, 835, 1100, 500, 825, 833, 830, 830, 835, 840, 845, 825, 844, 845, 2000, 820, 840, 843, 844, 845, 823, 844, 843, 855, 851, 811, 847, 850, 834, 849}
a) Calcule o IC com 90% de confiança
b) Calcule o IC com 95% de confiança
IC para amostras pequenas
24 Inserindo Credibilidade Estatística
Para pequenas amostras, a distribuição Normal apresenta valores menos precisos, o que nos leva a utilizar outro modelo, a distribuição t de Student;
Quando o tamanho das amostras é grande, por exemplo 100, a distribuição t é muito similar à distribuição Normal. Mas para amostras pequenas, a distribuição t é mais precisa;
IC para amostras pequenas
25 Inserindo Credibilidade Estatística
Para calcular o valor de t a ser usado, é necessário estabelecer: o nível de confiança desejado e o número de graus de liberdade a ser utilizado.
Usando o símbolo t no lugar de z, tem-se que o IC, neste caso, é dado por:
);( ]1;2/1[]1;2/1[n
stX
n
stX nn
26
IC para amostras pequenas
27 Inserindo Credibilidade Estatística
Exemplo:
Foram realizadas 25 medidas de vazão de um servidor de banco de dados. A média computada foi de 190 requisições por segundo, com desvio padrão igual a 11. Deseja-se saber, com 95% de certeza, o intervalo de confiança da média.
Comparação de Sistemas
28 Inserindo Credibilidade Estatística
Esta seção mostrará como fazer a
comparação entre os sistemas utilizando quatro técnicas diferentes:
1. Teste da média zero;
2. Observações pareadas;
3. Observações não pareadas;
4. Teste visual.
Teste da Média Zero
29 Inserindo Credibilidade Estatística
Consiste em checar se os valores medidos
são significativamente diferentes de zero.
Usando o IC para o valor medido, verifica-se o intervalo contém zero.
Basicamente, o que se tem a fazer é:
1. utilizar a diferença dos valores das amostras dos dois sistemas;
2. calcular o IC para o nível de confiança desejado.
Teste da Média Zero
30 Inserindo Credibilidade Estatística
Se o IC resultante incluir a média zero, não
é possível dizer se os dois sistemas analisados são diferentes em termos de desempenho;
Caso contrário, pode-se afirmar que os sistemas são diferentes, com o nível de confiança desejado.
Teste da Média Zero
31 Inserindo Credibilidade Estatística
Exemplo:
A empresa X analisou dois servidores Firewalls para realizar a compra. Foram feitas oito tentativas de passar um tráfego “suspeito” para dentro da rede da empresa, e computou-se o tempo de resposta para cada tentativa filtrada e rejeitada para saber se os sistemas eram compatíveis em termos de desempenho.
Teste da Média Zero
32 Inserindo Credibilidade Estatística
Os valores obtidos para a diferença dos tempos de resposta dos dois servidores, em segundos, foram:
D = {1,5; -1,4; 0,8; -1,3; -0,5; 1,7; 0,9; 1,1}
Neste caso, é possível dizer, com confiança de 95%, que um servidor é superior ao outro?
Observações Pareadas
33 Inserindo Credibilidade Estatística
Consiste na comparação direta dos valores
de IC nos casos em que existem n amostras de um sistema A e n amostras de um sistema B, ou seja, correspondência um-para-um.
Observações Pareadas
34 Inserindo Credibilidade Estatística
Exemplo:
Dois roteadores foram comprados e é necessário fazer uma avaliação em relação à vazão de pacotes por segundo. O conjunto da carga de trabalho dos roteadores A e B está resumido no seguinte conjunto de pares (vazão A, vazão B):
Medidas = {(55,4; 69,1), (80,1; 90,2), (59,1; 55,4), (60,2; 60,1), (62,3; 60,1), (55,3; 53,7)}
É possível dizer que um dos roteadores é melhor do que o outro, com confiança de 90%?
Observações não Pareadas
35 Inserindo Credibilidade Estatística
Usado para comparação de dois sistemas
que não possuem correspondência um-para-um.
Neste caso, usa-se o teste t: 1. Calculam-se as médias das amostras e
2. Calculam-se os desvios padrões Sa e Sb
3. Calcula-se a diferenças da média
4. Calcula-se o desvio padrão da diferença da média
aX bX
ba XX
isistemadoamostrasdenúmerooénonden
s
n
ss i
b
b
a
a
22
Observações não Pareadas
36 Inserindo Credibilidade Estatística
4. Calculam-se os graus de liberdade
5. Calcula-se o IC da diferença da média
stxxvba ];1[ 2
2
1
1
1
12
22
2
22
b
b
ba
a
a
b
b
a
a
n
s
nn
s
n
n
s
n
s
v
Observações não Pareadas
37 Inserindo Credibilidade Estatística
Exemplo:
Dois sistemas de processamento de requisições Web foram medidos em relação ao tempo de atendimento de requisições. Os valores medidos, em segundos, para os sistemas foram:
A = {1,22; 1,23; 1,67; 0,98; 0,88; 3,34}
B = {0,99; 1,48; 3,88; 1,20; 2,09}
Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes.
Teste visual
38 Inserindo Credibilidade Estatística
Neste teste, utiliza-se a comparação dos
sistemas, através da sobreposição dos intervalos de confiança analisados. São possíveis três opções:
1. IC não se sobrepõem (neste caso, a análise comparativa pode se basear na média)
2. IC e médias se sobrepõem (neste caso, não possível dizer que os sistemas são diferentes)
3. IC se sobrepõem, mas médias não (neste caso, não é possível ter certeza sobre a diferença dos sistemas)
Teste visual
39 Inserindo Credibilidade Estatística
Exemplo:
Os tempos de resposta de dois servidores para uma mesma tarefa foram medidos e os ICs com 90% foram calculados em:
MédiaA = 10,71, ICA = (10,24; 10,98)
MédiaB = 10,91, ICB = (10,18; 12,23)
Deseja-se saber, com 90% de certeza, se os dois sistemas são significantemente diferentes.
Referências Bibliográficas
JOHNSON, T. e MARGALHO, M. Avaliação de Desempenho de
Sistemas Computacionais, Rio de Janeiro: LTC, 2011
PORTAL ACTION. Disponível em: http://www.portalaction.com.br.
Acesso em: 14 nov. 2016
40 Inserindo Credibilidade Estatística