Avaliação de Desempenho UFABC Pós-graduação em Engenharia da Informação Professor: Carlos...
31
Avaliação de Desempenho Avaliação de Desempenho UFABC Pós-graduação em Engenharia da Informação Professor: Carlos Alberto Kamienski ([email protected]) 75 80 85 90 95 100 0 6 20 30 40 50 60 Santo André, Fevereiro de 2012
Transcript of Avaliação de Desempenho UFABC Pós-graduação em Engenharia da Informação Professor: Carlos...
Avaliação de DesempenhoAvaliação de Desempenho
UFABC
Pós-graduação em Engenharia da Informação
Professor: Carlos Alberto Kamienski ([email protected])
1
2
5
10
75
80
85
90
95
100
0 1 2 3 4 5 6
Mé
dia
do ín
dic
e d
e ju
stiç
a
Carga (chamadas - x 1000)
20 30 40 50 60
Fases
Santo André, Fevereiro de 2012
2
Internet
3
Avaliação de Desempenho (AD)
Desempenho é um item essencial em uma rede de computadores ou um sistema computacional Rede/sistema lenta/o é irritante Obter maior desempenho pelo menor preço
É comum uma rede lenta, onde ninguém (nem os administradores) sabe o motivo!
Portanto, saber avaliar o desempenho de uma rede também é essencial para profissionais da área
4
Objetivos
1. Comparar alternativas
2. Escolher valores ótimos para determinados parâmetros
Primeiros passos: selecionar Métricas corretas Ambiente de avaliação correto Técnica correta
5
Necessidade de AD
AD é necessária em vários estágios Projeto, fabricação, venda/compra, uso, atualização, etc. Comparar alternativas de projeto e escolher a melhor Comparar diferentes sistemas / fabricantes para obter o
melhor desempenho das aplicações Investigar problemas de desempenho e propor soluções Avaliar necessidade de atualização (custa caro!!)
Exemplo: o acesso à Internet está lento Deve-se aumentar a capacidade do enlace para não
prejudicar as atividades da empresa? Ou, existe algum usuário/aplicação que está produzindo
congestionamento no roteador indevidamente?
6
Exemplos - Medição
7
Exemplos - Medição
http://www.rnp.br/ceo/trafego/index.php
8
Exemplos - Medição
9
Exemplos - Medição
http://www.visualroute.com
10
Exemplos - Medição
11
Exemplos – Medição
http://www.netsizer.com
12
Exemplos – Medição
13
Exemplos - Simulação
14
Exemplos - Simulação
0
10
20
30
40
50
60
70
0 5 50
melhor esforço
DiffServ
IntServ
Carga (número de fontes de retaguarda)
Vaz
ão (
Kbp
s)
0
10
20
30
40
50
60
70
0 5 50
melhor esforço
DiffServ
IntServ
Carga (número de fontes de retaguarda)
Vaz
ão (
Kbp
s)
15
Exemplos - Simulação
Pareto - RS
0,5
0,55
0,6
0,65
0,7
0,75
0,8
0,85
0,9
0,95
0 1 2 3 4 5 6 7 8 9
0.65
0.7
0.75
0.8
0.85
0.9
0.95
1 2 5 10 20 50 100 1000
Pareto - RS
0,5
0,55
0,6
0,65
0,7
0,75
0,8
0,85
0,9
0,95
0 1 2 3 4 5 6 7 8 9
0.65
0.7
0.75
0.8
0.85
0.9
0.95
1 2 5 10 20 50 100 1000
16
Exemplos - Simulação
0
20
40
60
80
100
1 21 41 61
Tempo de simulação (segundos)
Vaz
ão (
Kbp
s)
0
5
50
17
Exemplos - Simulação
20
30
40
50
60
70
80
90
0.5 1 1.5 2 2.5 3 3.5
melhor esforço
DiffServ
IntServ
0 5 50
Carga (número de fontes de retaguarda)
Atr
aso
(ms)
20
30
40
50
60
70
80
90
0.5 1 1.5 2 2.5 3 3.5
melhor esforço
DiffServ
IntServ
0 5 50
Carga (número de fontes de retaguarda)
Atr
aso
(ms)
18
Exemplos - Simulação
0
20
40
60
80
100
1 21 41 61
Tempo de simulação (segundos)
Atr
aso
(ms) 0
5
50
19
Exemplos - Simulação
3
4
5
6
7
8
9
10
11
500 1000 1500 2000 2500 3000 3500 4000
20
Exemplos - Simulação
21
Erros comuns em AD
Não ter objetivos!
Objetivos tendenciosos
Abordagem não sistemática
Métricas de desempenho inadequadas
Carga de trabalho não representativa
Técnica de avaliação errada
Ignorar fatoresfatores importantes
22
Erros comuns em AD
Projeto de experimentos não apropriado
Nível de detalhe não apropriado
Análise de resultados Analisar resultados sem entender o problema! Não analisar resultados Fazer análises erradas Apresentar evidências como fatos conclusivos
Ignorar erros de entrada e outliers
Ignorar variabilidade nas amostras (usar médias)
Apresentação inadequada dos resultados
23
Abordagem Sistemática1. Formular os objetivos e definir o sistema
2. Listar serviços e resultados
3. Selecionar métricas
4. Listar parâmetros
5. Selecionar fatores e níveis
6. Selecionar técnica de avaliação
7. Escolher carga de trabalho
8. Projetar os experimentos
9. Analisar e interpretar os dados
10. Apresentar os resultados
24
Seleção de Técnicas
Técnicas utilizadas para AD Modelagem analítica Simulação Medição
Critérios Estágio do ciclo de vida da rede Tempo disponível para avaliação Disponibilidade de ferramentas Nível de precisão exigido Conhecimento da técnica
25
Modelagem analítica
Possibilita explorar um modelo sobre o qual se tem controle
Modelos matemáticos simplificados geram resultados rapidamente
Técnica barata: lápis, papel e cérebro
Muitos pressupostos e abstrações são feitas Pode-se perder o comportamento original
Exemplo: sistemas de filas
26
Simulação
Técnica para avaliação de de sistemas: Prever desempenho Comparar alternativas
Consiste na construção e execução de programas
Simulação permite construir modelos mais complexos e representativos do mundo real
Problemas: Extrapolações indevidas Pequenas variações modelo podem produzir resultados
contraditórios Pode esconder bugs nos programas
27
Medição
Técnica fundamental para a compreensão do comportamento de uma rede de computadores
Aplicações: Avaliar padrões e volume de tráfego Descobrir como os pacotes são roteados Avaliar a vazão e perda de pacotes em determinado roteador Identificar o atraso entre dois computadores Identificador locais e causas de congestionamento
Problema: o que, por que, onde, como, quando, o que, por que, onde, como, quando,
quemquem
28
Seleção de métricas
Métricas que avaliam resultados Tempo: mede agilidade Taxa: mede produtividade Recurso: mede utilização
Métricas que avaliam disponibilidade Velocidade: serviço ativo Confiabilidade: erro Disponibilidade: possibilidade de utilização
29
Métricas comuns em redes
Vazão (bits, pacotes)
Atraso (em um sentido – one-way, ida e volta - rtt)
Variação do atraso
Perda de pacotes
Tamanho das filas
Taxa de colisão (Ethernet)
Utilização média da rede (Ethernet)
Percentual de tráfego por protocolo
30
Primeiro Passo
Selecionar Métricas corretas Ambiente de avaliação correto Técnica correta
Avaliação de DesempenhoAvaliação de Desempenho
UFABC
Pós-graduação em Engenharia da Informação
Professor: Carlos Alberto Kamienski ([email protected])
1
2
5
10
75
80
85
90
95
100
0 1 2 3 4 5 6
Mé
dia
do ín
dic
e d
e ju
stiç
a
Carga (chamadas - x 1000)
20 30 40 50 60
Fases
