capitulo_1_Avaliação de desempenho
Transcript of capitulo_1_Avaliação de desempenho
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 1/36
1
Glaucio H. S. de Carvalho 1
Avaliação de Desempenho deSistemas
Glaucio Haroldo Silva de [email protected]
Glaucio H. S. de Carvalho 2
Introdução
AvaliarAvaliar significa atribuir valor a alguma coisa, dar
a valia;
Não é uma ação neutra;Sendo a não neutralidade um fato, interessa na
avaliação o compromisso com o questionamento,com a crítica;
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 2/36
2
Glaucio H. S. de Carvalho 3
IntroduçãoDesempenhoO que é?
Medida de capacidade de resposta de um sistema
Como avaliar o desempenho de um sistema?Medidas/métricas de desempenho ou de Qualidade de
Serviço (QoS)Quantificam o desempenhoAtravés da manipulação das métricas podem ser tiradas
conclusões sobre o desempenho do sistema Ex.: Tempo de reposta, vazão, disponibilidade,...
Glaucio H. S. de Carvalho 4
Introdução
Desempenho Por que?
Critério chave no projeto, compra e uso de sistemascomputacionais, Tecnologia da Informação (TI)
Engenheiros, analistas, projetistas, cientistas e usuáriosde TI buscam sempre obter o melhor desempenho paraum dado custo
Para alcançar tal meta é preciso comparar diferentesalternativas de modo a encontrar aquela que melhorsatisfaça os requisitos estipulados
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 3/36
3
Glaucio H. S. de Carvalho 5
IntroduçãoDesempenho Para que?
Especificar os requisitos de desempenho Avaliar diferentes alternativas Comparar dois ou mais sistemas Determinar valores ótimos de parâmetros
Identificar gargalos no sistema Caracterizar a carga em um sistema Planejamento da capacidade do sistema Predição do desempenho do sistema em função do crescimento da
carga
Glaucio H. S. de Carvalho 6
IntroduçãoSistema Qualquer coisa! Sistemas Complexos Reativos
Dinâmicos, reagem a estímulos internos e externos Ex.: Automóvel, avião, sistemas de TI
Componente de hardware Ex.: UCP
Componente de SoftwareEx.: sistema de banco e dados
Rede de comunicação Ex.: Rede de computadores, roteador, gateway, rede de telefonia
fixa/móvel, ...
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 4/36
4
Glaucio H. S. de Carvalho 7
IntroduçãoQuem é quem? ACM SIGMETRICS
Desempenho de sistemas computacionais Metodologias e novos avanços na área Periódico
• Performance Evaluation Review
IEEE Computer Society
Grande número de comitês técnicos e periódicos dedicados ao assunto www.ieee.org
ACM SIGSSIM Grupo de interesse em simulação Ex.: Periódico
• Simulation Digest
Glaucio H. S. de Carvalho 8
IntroduçãoQuem é quem? Computer Measurement group (CGM)
Grupo de interesse em aferição de rede, ferramentas e técnicas deavaliação
Periódico
• CGM Transaction IFIP Working Group 7.3
Grande número de comitês e grupo técnicos e periódicos dedicados aoassunto
The Society for Computer Simulation Grupo de interesse em simulação e modelagem matemática Ex.: Periódico
• Simulation Digest e Transaction of the Society for Computer Simulation
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 5/36
5
Glaucio H. S. de Carvalho 9
IntroduçãoQuem é quem? The Society for Industrial and Applied Mathematics (SIAM)
Promove a pesquisa direcionado a novos modelos matemáticos paraindustria e ciência
Periódicos• SIAM Review, SIAM Journal on Control and Optimization, ....
Operations Research Society of America (ORSA)
Organização de profissionais interessados em pesquisa operacional como:programação dinâmica, teoria de filas, teoria dos jogos, análise de redes,simulação,...
Periódicos• Operatinal Research, ORSA Journal on Computing, Operational Reasearch
letters,....
Glaucio H. S. de Carvalho 10
Introdução
Erros Comuns e Como Evitá-losAusência de objetivos
É importante que o Analista compreenda ofuncionamento sistêmico e identifique o problema a serresolvido
Não existe um modelo de propósito geral, cada um deveser desenvolvido com uma meta em particular
Em um projeto de desempenho as métricas, carga detrabalho e a metodologia dependem das metas
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 6/36
6
Glaucio H. S. de Carvalho 11
IntroduçãoErros Comuns e Como Evitá-losObjetivos tendenciosos
Mostrar que o nosso sistema é melhor que o deles Seja imparcial! Fundamente suas conclusões baseadas nos resultados e
não em crenças preconcebidasAbordagem não sistemática
Tentativa e erro: objetivos, parâmetros, fatores,métricas e carga de trabalho escolhidas aleatoriamente
Seja sistemático!
Glaucio H. S. de Carvalho 12
Introdução
Erros Comuns e Como Evitá-los Análise sem o entendimento do problema
Analistas inexperientes dedicam a maior parte do tempo namodelagem e na obtenção dos resultados
Analistas experientes sabem que a definição do problema consomecerca de 40% do tempo dedicado ao problema Os demais 60% são divididos em: no desenho das alternativas,
interpretação dos resultados e apresentação das conclusões (i.e., odesenvolvimento do modelo é uma pequena fatia do esforço!)
Um problema bem definido já está metade resolvido! Modelos são meios para se chegar as conclusões e não o resultado
final!
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 7/36
7
Glaucio H. S. de Carvalho 13
IntroduçãoErros Comuns e Como Evitá-los Escolha incorreta das métricas
Devem ser escolhidas as métricas relevantes e não aquelasfacilmente computadas ou medidas
Não devem ser descartadas as métricas difíceis de seremcomputadas!
Carga de Trabalho não representativa A seleção da carga de trabalho tem um impacto significativo nos
resultados da avaliação EX.: se pacotes em uma rede são uma mistura de de pacotes longos
e curtos; a carga de trabalho usada para comparar duas redes deveconsistir de pacotes longos e curtos.
Glaucio H. S. de Carvalho 14
Introdução
Erros Comuns e Como Evitá-losTécnica de avaliação inadequada
Existem três técnicas de avaliação: simulação, analíticae aferição (experimentação, metrologia)
Normalmente um especialista em uma técnica buscaaplicá-la em todos os casos
Um analista deve possuir um conhecimento básico detodas as técnicas
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 8/36
8
Glaucio H. S. de Carvalho 15
IntroduçãoErros Comuns e Como Evitá-los Ignorar parâmetros importantes
Devem-se listar todas as características do sistema e da carga detrabalho que podem afetar seu desempenho (parâmetros)
Ex. de parâmetros:• comprimento do buffer de um roteador (gateway),• Número de canais de rádio de uma estação radio base• Prioridade, padrão de chegada de solicitações, etc.
Os parâmetros devem ser variados a fim de avaliar diferentescenários
Ignorar um ou mais parâmetros pode levar a resultados inúteis
Glaucio H. S. de Carvalho 16
IntroduçãoErros Comuns e Como Evitá-los Ignorar fatores significativos
Parâmetros que são variados são chamados de fatoresDevem ser escolhidos como fatores, aqueles parâmetros
que, quando variados, provocam maior impacto nodesempenho do sistema Ex. Se a taxa média de chegada afeta o tempo de resposta de um
gateway mais que o tamanho do pacote, então é melhor usardiferentes taxas de chegada no estudo de desempenho
Uma boa idéia para identificar quais (e como os)parâmetros afetam mais o desempenho do sistema é umaanálise de sensibilidade.
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 9/36
9
Glaucio H. S. de Carvalho 17
IntroduçãoErros Comuns e Como Evitá-losDefinição inapropriada do experimento
Definir experimento consiste no número de vezes que asmedições ou a simulação devem ser conduzidas bemcomo dos valores dos parâmetros usados em cadaexperimento
Para um mesmo número de experimentos, a seleçãoapropriada dos valores pode resultar em maisinformação
Glaucio H. S. de Carvalho 18
Introdução
Erros Comuns e Como Evitá-losNível inadequado de detalhes
Um erro comum é usar um modelo detalhado quando ummodelo de alto-nível pode ser empregado e vice-versa
Acontece quando o objetivo não esta claro o suficiente(i.e., o que é modelado e como deve ser analisado!)
O nível de detalhe usado na modelagem tem um profundoimpacto na formulação do problema
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 10/36
10
Glaucio H. S. de Carvalho 19
IntroduçãoErros Comuns e Como Evitá-los Falta de análise
Existe uma grande quantidade de dados, mas não se sabecomo analisá-los ou interpretá-los;
É melhor possuir uma equipe multidisciplinar de analistasde desempenho
Análise incorreta Existe um grande número de erros cometidos na
modelagem e na experimentação Ex.: simulações muito curtas
Glaucio H. S. de Carvalho 20
Introdução
Erros Comuns e Como Evitá-losAusência da análise de sensibilidade
Analistas apresentam os resultados de suas avaliaçõescomo fatos e não como evidências
Ignoram o fato que os resultados podem ser sensíveis acarga de trabalho e a variação dos parâmetros
Análise de sensibilidade torna claro se as conclusõesmudam ou não para diferentes configurações
Análise de sensibilidade ainda evidencia a importânciarelativa dos parâmetros do sistema
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 11/36
11
Glaucio H. S. de Carvalho 21
IntroduçãoErros Comuns e Como Evitá-los Ignorar erros na entrada
Algumas vezes um parâmetro que não pode ser medido éestimado a partir de outra variável
Importante ajustar o nível de certeza do saída domodelo a partir das incertezas
Glaucio H. S. de Carvalho 22
IntroduçãoErros Comuns e Como Evitá-los Tratamento inapropriado dos pontos “fora da curva”
Valores muito altos ou baixos quando comparado a maioria dosdemais são chamados de “fora da curva” (grande problema namodelagem)
Quando um ponto fora da curva não é causado pela ocorrência deum fenômeno real do sistema, ele deve ser ignorado na modelageme vice-versa,
Decidir que pontos e quando incluí-los faz parte da avaliação dedesempenho e que requer um entendimento profundo do sistema aser modelado
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 12/36
12
Glaucio H. S. de Carvalho 23
IntroduçãoErros Comuns e Como Evitá-losNão considerar as mudanças do futuro
Um modelo baseado em uma carga de trabalho edesempenho do passado é usado para predizer o futuro
Deve ser discutido de quanto em quanto tempo devemser feitas as predições
Glaucio H. S. de Carvalho 24
IntroduçãoErros Comuns e Como Evitá-los Ignorar a variabilidade
É comum avaliar somente ocomportamento médio dosistema e esquecer davariabilidade
Se a variabilidade é grande, amédia sozinha não érepresentativa
Ex.: Decisões baseadas emmédias diárias de demandascomputacionais podem não serúteis quando há picos horáriosna demanda
• Média: 18,125• Variância: 553,9402
0
10
20
30
40
50
60
70
80
D e m a n d a ( u s u á r i o s p o r h o r a )
1 3 5 7 9 11 13 15 17 19 21 23
Horas
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 13/36
13
Glaucio H. S. de Carvalho 25
IntroduçãoErros Comuns e Como Evitá-los Análise muito complexa
Sejam duas análises que levam a mesma conclusão a mais simplesserá escolhida
Há diferenças entre os modelos publicados na literatura e aquelesaplicados no mundo real
• A habilidade de desenvolver e resolver modelos complexos apesar de
altamente valorizada na academia nem sempre é bem vista por aquelesque tomam decisões ou aplicadas quanto os prazos são curtos
• A maioria dos problemas do dia a dia são resolvidos por modelos simples• Mesmo quando prazo e custo não são problemas, modelos complexos são
difíceis de entender, tendo seus resultados desacreditados
Glaucio H. S. de Carvalho 26
Introdução
Erros Comuns e Como Evitá-losApresentação inapropriada dos resultados
A meta de qualquer avaliação de desempenho é auxiliarna tomada de decisão
“Vender” os resultados da avaliação é responsabilidadedo analista e requer o uso de:
• Gráficos, palavras, imagens que elucidem as conclusões
A métrica certa para avaliar desempenho de um analista
não é o número de análises desempenhadas, mas sim o
número de análises que auxiliem a tomada de decisões
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 14/36
14
Glaucio H. S. de Carvalho 27
IntroduçãoErros Comuns e Como Evitá-los Ignorar aspectos sociais
Uma apresentação bem sucedida requer as seguinteshabilidades:
• Social– Falar e escrever
• Substancial– Modelagem e a análise de dados
Para vender a avaliação as habilidades sociais sãogeralmente mais importantes!
Glaucio H. S. de Carvalho 28
Introdução
Erros Comuns e Como Evitá-losOmissão das considerações e das limitações
As considerações feitas na confecção do modelo e suaslimitações não devem ser omitidas
Caso contrário, pode-se levar a aplicar o modelo em umoutro cenário onde as considerações não são válidas, ouas limitações não respeitadas
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 15/36
15
Glaucio H. S. de Carvalho 29
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Estabeleça os objetivos e defina o sistema Estabelecer os objetivos do estudo e delimitar escopo (o que constitui o sistema) Seja o mesmo conjunto de hardware e software, a definição do sistema pode variar
dependendo do objetivo Ex.: Seja duas UCPs
• Objetivo 1: estudar o impacto da UCP no tempo de resposta de usuáriosinterativos
– Escopo 1: O “sistema” é um sistema de tempo compartilhado. As conclusões dependem
significativamente de componentes externos a UCP
• Objetivo 2: UCPs são quase similares a exceção das ULAs, então o objetivo édecidir qual ULA deve ser escolhida.
– Escopo 2: O sistema é a UCP, e somente os componentes dentro da mesma devem fazer
parte dele.
A definição do escopo afeta as medidas de desempenho do sistema assim como dacarga de trabalho usada
Glaucio H. S. de Carvalho 30
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Liste os serviços e os resultados Todo sistema oferece um serviço (uns desejáveis outros
não)
Quando um usuário solicita um serviço há uma seriepossíveis resultados
Liste todos os serviços e os possíveis resultados, elaserá importante durante a definição das métricasselecionadas
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 16/36
16
Glaucio H. S. de Carvalho 31
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Selecione as métricas Selecionar a métrica significa selecionar o critério usado para
comparação
Lista de parâmetros Liste todos os parâmetros que afetam o desempenho sistêmico A lista pode ser dividida em duas partes:
• Do sistema (±estáveis): hardware e software• Da carga de trabalho (dinâmicos): característica das demandas de
usuários
Aumenta a sinergia entre o analista e os tomadores de decisão nosentido de avaliar o impacto de cada parâmetro e determinarquando eles devem ser coletados
Glaucio H. S. de Carvalho 32
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Selecione os fatoresA lista de parâmetros pode ser dividida em duas partes:
• Aqueles que não variam
• Aqueles que variam (fatores e seus valores são chamados níveis) Inicie com uma pequena lista de fatores e níveis
Selecione a técnica de avaliação Existem três técnicas: analítica, simulação e aferiçãoA seleção depende de fatores como tempo, recursos
disponíveis, precisão,nível de detalhes
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 17/36
17
Glaucio H. S. de Carvalho 33
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Selecione a carga de trabalho Lista das solicitações de serviçoDepende da técnica de avaliação escolhida:
• Analítica: probabilística• Simulação: trace de solicitações do sistema real
• Aferição:scripts de usuários a serem executados pelo sistemaA carga de trabalho deve ser representativa
Glaucio H. S. de Carvalho 34
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Planeje os experimentosDada a lista de fatores e seus níveis decida a seqüência
de experimentos que resulte em mais informação com o
menor esforço Conduza os experimentos da seguinte forma:
• Estudar o efeito relativo dos vários fatores (grande número defatores com poucos níveis)
• Estudar os níveis dos fatores que possuem um impactosignificativo (poucos fatores e mais níveis)
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 18/36
18
Glaucio H. S. de Carvalho 35
IntroduçãoAbordagem sistemática para a avaliação de desempenho
Analise e Interprete os dadosQuando comparar duas alternativas, considere a
variabilidade dos resultadosUma análise produz resultados e não conclusões!Os resultados fornecem a base para se tirar as
conclusõesApresentação dos resultados
É importante que os resultados sejam apresentados demaneira inteligível (graficamente, sem jargões,...)
Glaucio H. S. de Carvalho 36
Introdução
Seleção da técnica de avaliaçãoTécnicas para a avaliação de desempenho de um
sistema:Analítica, Simulação, Aferição
Aferição:Medições realizadas no próprio sistema real ou em um
protótipo do mesmo É necessário que o sistema ou um protótipo exista!
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 19/36
19
Glaucio H. S. de Carvalho 37
IntroduçãoSeleção da técnica de avaliação Modelagem:
Abstração do sistema a ser analisado, o qual inclui, em diferentesníveis de detalhes, dependendo da solução a ser empregada, osprincipais elementos e eventos condizentes ao comportamento dosistema e que ao mesmo tempo são relevantes na sua análise.
Solução do modelo• Analítica:
– Formulas matemáticas /algoritmos computacionais que fornecem as
métricas de interesse em função da carga de trabalho de entrada
• Simulação:
– Programas computacionais que emulam os diferentes aspectos
dinâmicos de um sistema
Glaucio H. S. de Carvalho 38
Introdução
Seleção da técnica de avaliaçãoTaxonomia:
Técnicas de Avaliação de Desempenho
Técnicas de Avaliação de Desempenho
Sistema Realou Protótipo
Sistema Realou Protótipo Modelo
Modelo
Aferição
Aferição Analítica
Analítica Simulação
Simulação
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 20/36
20
Glaucio H. S. de Carvalho 39
Introdução
AltaMédiaBaixaQualidade do queé vendável
AltoMédioBaixoCusto
DifícilMédioFácilAvaliação decompromissos
VariávelModeradaBaixaPrecisão
InstrumentaçãoLinguagem deprogramação
AnáliseFerramentas
VariávelMédioCurtoTempo requeridopara avaliação
SistemaExiste/Protótipo
QualquerQualquerEstágio
AferiçãoSimulaçãoAnalíticaCritério
Glaucio H. S. de Carvalho 40
Introdução
Seleção das métricas de desempenho (QoS)Todo sistema oferece um serviçoMétricas de QoS quantificam o desempenho do
sistemaAs repostas de um sistema (serviço) podem serclassificadas como:
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 21/36
21
Glaucio H. S. de Carvalho 41
Introdução
SIST
EMA
Solicitaçãodo serviço i
Nãoexecutado
Incorretamente
Executado
Erro j
TempoTempo de reposta
TaxaVazão
RecursoUtilização
Probabilidade
Duraçãodo evento
Tempo entre erros
Corretamente
Tempo entreeventos
Erro k
VELOCIDADE
CONFIABILIDA
DE
DISPONIBILIDADE
Glaucio H. S. de Carvalho 42
Introdução
Métricas de QoS mais usadasTempo de resposta
Intervalo de tempo entre a solicitação do usuário e aresposta do sistema
Solicitaçãodo usuário
Resposta doSistema
Tempo
Tempo de reposta
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 22/36
22
Glaucio H. S. de Carvalho 43
IntroduçãoMétricas de QoS mais usadasTempo de resposta
Usuárioinicia asolicitação
TempoTempo de reação
Usuáriofinaliza asolicitação
SistemaInicia aexecução
SistemaInicia areposta
Sistemafinaliza areposta
Tempo de resposta 1
Tempo de resposta 2
Usuárioinicia apróximasolicitação
Think time
Glaucio H. S. de Carvalho 44
IntroduçãoMétricas de QoS mais usadas Tempo de resposta
Ex.: Carregamento de uma página Web no navegador do usuário como resultado de uma busca de livros em uma livraria eletrônica
• Tempo do navegador• Tempo da rede
• Tempo do servidor de e-commerce• Tempo de congestionamento
– Tempo gasto esperando por recursos (processadores, discos, redes)
– Depende do número de solicitações na rede
Tempo do navegador
Processamento E/S
Tempo da rede
Navegador - ISP Internet ISP-Servidor
Tempo doServidor de e-commerce
Processamento E/S Rede
Congestionamento
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 23/36
23
Glaucio H. S. de Carvalho 45
IntroduçãoMétricas de QoS mais usadasVazão (throughput)Taxa na qual as solicitações são servidas
pelo sistemaMedido em operações por unidade de
tempoA natureza da operação depende do
sistema
Glaucio H. S. de Carvalho 46
Introdução
Mensagens enviadas por segundoServidor de E-mail
E/S por segundoKB transferidos/s
Disco
Milhões de Instruções/s (MIPS)Operações de pontos flutuantes/s (FLOPS)
UCP
Pacotes/s (PPS)MB transferidos/s
Roteador
Interações Web/s (WIPS)Sessões/sBuscas/s
E-commerce site
Solicitações HTTP/sByte/s
Web site
Transações/s (tps)OLTPMétricaSistema
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 24/36
24
Glaucio H. S. de Carvalho 47
IntroduçãoMétricas de QoS mais usadasVazão (throughput)Capacidade nominal: maior vazão sob condições
ideais• Ex.:
– Ethernet-1Gbps
– Disco com 40 Mbps
Capacidade útil:vazão máxima alcançável• Ex.:
– Ethernet 100: 70-80 Mbps
Glaucio H. S. de Carvalho 48
IntroduçãoMétricas de QoS mais usadas Vazão (throughput)
Geralmente aumenta com a carga. Após um certo tempo ele satura e pode ainda diminuir (thrashing )
Vazão
Tempo deresposta
Joelho
Capacidade Nominal
Capacidade Útil
Carga
Carga
Joelho é o ponto ótimo deoperação
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 25/36
25
Glaucio H. S. de Carvalho 49
IntroduçãoMétricas de QoS mais usadas Eficiência
Capacidade útil/ capacidade nominal . Ex.:
• Uma LAN de 100Mbs tem sua capacidade útil de 85Mbps• Eficiência de 85%
Utilização Fração de tempo que o recurso está ocupado atendendo
solicitações Período de tempo que o recurso não está sendo usado é
chamada de tempo ocioso
Glaucio H. S. de Carvalho 50
IntroduçãoMétricas de QoS mais usadasDisponibilidadeFração de tempo que o sistema está disponível
para o atendimento a clientes
• Ex.: Sistema com disponibilidade de 99,99% em umperíodo de 30 dias está indisponível por:• (1-,9999)x30diasx24horas/diax60minutos/hora=4.32minutos• Tal nível de disponibilidade é excelente para um
serviço de e-commerce ;• Porém, para um sistema de defesa, 911 pode ser
inaceitável!
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 26/36
26
Glaucio H. S. de Carvalho 51
IntroduçãoMétricas de QoS mais usadasDisponibilidade
Duas razões para a indisponibilidade:• Falhas e sobrecarga• Falhas
– Algum componente do sistema está inoperante
– Ex.: conexão com a Web pode está indisponível
– Solução: sistema de detecção, diagnóstico e restabelecimento da falha• Sobrecarga
– Todos os componentes estão operacionais, mas o sistema não possui
recursos suficientes para atender toda a demanda
– Ex.: Um servidor Web recusa a abertura de uma nova conexão TCP,
pois o número máximo já foi alcançado
Glaucio H. S. de Carvalho 52
IntroduçãoMétricas de QoS mais usadasDisponibilidade
• Sobrecarga– Uma das formas de resolver a sobrecarga em sistemas
de TI é o Controle de Admissão de Chamadas (CAC)
– CAC
» controla e limita o número de solicitações que
estão sendo tratadas concorrentemente
» Evita o aumento excessivo (exponencial) do
tempo de resposta
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 27/36
27
Glaucio H. S. de Carvalho 53
IntroduçãoMétricas de QoS mais usadasDisponibilidade
• Sobrecarga
Tempo deresposta
Sem CAC
Carga
Com CAC
Threshold
Glaucio H. S. de Carvalho 54
IntroduçãoMétricas de QoS mais usadas ConfiabilidadeProbabilidade do sistema operar adequadamente e
continuamente durante um período fixo de tempo• Quando o período de tempo é muito grande a
confiabilidade tende para a disponibilidadeSegurançaMecanismo de autenticação
• Criptografia
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 28/36
28
Glaucio H. S. de Carvalho 55
IntroduçãoMétricas de QoS mais usadas EscalabilidadeUm sistema é escalável quando seu desempenho não
degrada significativamente com o aumento da carga
Tempo de
respostaSistema A- Não é escalável
Carga
Sistema B- Escalável
Glaucio H. S. de Carvalho 56
IntroduçãoMétricas de QoS mais usadas ExtensibilidadeÉ a propriedade do sistema facilmente evoluir para
lidar com novas funções e requisitos de desempenho
• Novas leis, regulamentos, diferentes modelos denegócio podem mudar o ambiente no qual o sistemaestá operando e ele deverá se adequar as novascircunstâncias.
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 29/36
29
Glaucio H. S. de Carvalho 57
IntroduçãoUtilidade das Métricas
de QoS Maior é Melhor
Vazão Menor é Melhor
Tempo de resposta Nominal é melhor
Utilização• Alta-> tempo deresposta alto
• Baixa->Recursosestão ociosos
• 50->75%
Maior é melhorUT
I
L
I
D
A
D
E
MÉTRICA
UT
I
LI
D
A
D
E
MÉTRICA
Menor é melhor
UT
I
L
I
D
A
D
E
MÉTRICA
Nominal é melhor
Glaucio H. S. de Carvalho 58
IntroduçãoCiclo de vida de um sistema Tratar da avaliação de desempenho no final do
desenvolvimento do sistema pode levar: Ao aumento no custo do projeto em relação àquele originalmente
especificado
Aumento no tempo necessário no ajuste de valores ótimos dosparâmetros Projetar o sistema novamente (pior caso)
Tal prática é ineficiente, onerosa, time-consuming eprofissionalmente irresponsável
É importante considerar a avaliação de desempenhocomo parte integrante do projeto de um sistema
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 30/36
30
Glaucio H. S. de Carvalho 59
IntroduçãoCiclo de vida de um sistema Sete estágios:
1. Especificação e Análise derequisitos
2. Projeto do Sistema3. Desenvolvimento do Sistema4. Teste5. Instalação6. Operação7. Evolução
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
Glaucio H. S. de Carvalho 60
IntroduçãoCiclo de vida de um sistema Sete estágios:
Especificação e Análise de requisitos• Coleta de informações a respeito do
funcionamento do sistema• Documento contendo todos os requisitos do
sistema– Requisitos funcionais:
» especificação do conjunto de funções que osistema deve fornecer com respeito àsentradas e saídas assim como o padrão deinteração o sistema com os usuários
» Inclui informações sobre tecnologias aserem usadas no projeto
– Ex.: e-commerce
» O site deve fornecer um padrão de buscaque permite aos usuários buscar por livrosusando ISBN, título,...
» Servidores UNIX e Apache, acesso semfio...
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 31/36
31
Glaucio H. S. de Carvalho 61
IntroduçãoCiclo de vida de um sistema Sete estágios:
Especificação e Análise derequisitos
– Requisitos não funcionais:
» Trata dos requisitos de QoSesperados pelos usuários
» Caracterização quantitativa e
qualitativa da carga de trabalhodeve ser fornecida de modo que osrequisitos de QoS possam serespecificados
– Ex.: e-commerce
» Durante os períodos de pico o sitereceberá 50 solicitações/s e responderá95% deles dentro de 2s
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
Glaucio H. S. de Carvalho 62
IntroduçãoCiclo de vida de um sistema Sete estágios:
Projeto do sistema– Como os requisitos serão satisfeito?
– A arquitetura é projetada e o sistemadividido em componentes como:
» Estruturas de dados, banco de dados,
» Algoritmos são selecionados eprojetados...
– A interface entre os diversoscomponentes são especificadas
– Atenção especial aos requisitos nãofuncionais
– Decisões erradas nessa etapa são maisonerosas e demandarão mais tempopara serem corrigidas que nas etapasposteriores
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 32/36
32
Glaucio H. S. de Carvalho 63
IntroduçãoCiclo de vida de um sistema Sete estágios:
Desenvolvimento do sistema– Implementação dos componentes do
sistema
» Adaptações/novos
desenvolvimentos/reuso
– Componentes são interconectados para
formar o sistema
– Os componentes devem ser desenvolvidos
visando fácil monitoração da QoS durante
as fases de Teste e Operação
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
Glaucio H. S. de Carvalho 64
IntroduçãoCiclo de vida de um sistema Sete estágios:
Teste– Ocorre concorrentemente com o
desenvolvimento do sistema
» Teste da unidade, do subsistema e dosistema inteiro
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 33/36
33
Glaucio H. S. de Carvalho 65
IntroduçãoCiclo de vida de um sistema Sete estágios:
Instalação– Depois de testado em um ambiente
controlado o sistema é instalado
– Durante essa fase os valores de muitos
parâmetros devem ser escolhidos de
modo que se obtenha o melhor
desempenho possível
– Ex.: número máximo de conexões TCP
– Modelos podem ser usados para fazer a
predição do desempenho do sistema para
diferentes condições e cenários de modo
que os valores apropriados possam ser
selecionados
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
Glaucio H. S. de Carvalho 66
IntroduçãoCiclo de vida de um sistema Sete estágios:
Operação– Sistema deve ser constantemente
monitorado para averiguação se os
requisitos de QoS estão sendo satisfeitos– Carga de trabalho:
» Determinação dos horários de picos,
da característica do processo de
chegada;
» Detecção de padrões incomuns que
possam indicar ataques a segurança
» Caracterização dos tipos similares de
solicitação (classes de serviço)
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 34/36
34
Glaucio H. S. de Carvalho 67
IntroduçãoCiclo de vida de um sistema Sete estágios:
Operação– Medidas de desempenho externas:
» Medição da satisfação percebida pelousuário e estatísticas (média,variância, ...) relativas ao tempo deresposta, vazão, probabilidade deuma solicitação ser rejeitada
– Medidas de desempenho internas:
» Identificação dos fatores internos queauxiliam no diagnóstico de falhas edetecção de gargalos
» Ex.: utilização de processadores,dispositivos de armazenamento,redes,...
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
Glaucio H. S. de Carvalho 68
IntroduçãoCiclo de vida de um sistema Sete estágios:
Operação– Disponibilidade:
» Monitoramento externo usando
agentes que enviam solicitações parao sistema em intervalos regulares
» Compromisso na freqüência em que
ocorre a monitoração
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 35/36
35
Glaucio H. S. de Carvalho 69
IntroduçãoCiclo de vida de um sistema Sete estágios:
Evolução• Sistemas de TI evoluem no sentido de
atender a novas demandas, leis eregulamentos,...
• Garantir que a evolução não afete osrequisitos de QoS– Ex:
» Livraria eletrônica decide expandir e
vender CDs e DVDs» As solicitações por CDs e DVDs
compartilharão a mesma infra-estruturade IT que as solicitações por livros
» Deve ser garantido que a QoS serámantida
» Modelos de predição podem ser usadosno auxílio a essas questões
Especificação eAnálise derequisitos
Projeto doSistema
Desenvolvimentodo Sistema
Teste
Instalação
Operação
Evolução
Glaucio H. S. de Carvalho 70
Introdução
Notas do capítuloLer: Parte I do Raj Jain (capítulos 1 ,2, 3)
Capítulo 1 do Virgilio
5/10/2018 capitulo_1_Avaliação de desempenho - slidepdf.com
http://slidepdf.com/reader/full/capitulo1avaliacao-de-desempenho 36/36
36
Glaucio H. S. de Carvalho 71
BibliografiaRaj Jain. The art of Computer SystemsPerformance Analysis: technique forexperimental design, measurement, simulation,and modeling, Wiley, 1991
Daniel A. Menascé, Virgilio A.F. Almeida,Lawrence W. Dowdy. Performance By Design:computer capacity planning by example, PrenticeHall, 2004.