© 2000 Paulo Adeodato Avaliação de Desempenho de Sistemas Análise de Resultados de Simulação...

© 2000 Paulo Adeodato

Avaliação de Desempenho de Avaliação de Desempenho de Sistemas Análise de Resultados de Sistemas Análise de Resultados de

SimulaçãoSimulaçãoPaulo Adeodato

Departamento de InformáticaUniversidade Federal de Pernambuco


ConteúdoConteúdo Introdução Técnicas de Verificação do Modelo Técnicas de Validação do Modelo Remoção de Transientes Critério de Parada: Estimativa da Variância


IntroduçãoIntroduçãoPassos no desenvolvimento do modelo:

• Verificação do Modelo:assegura que o modelo está corretamente implementado

• Validação do Modelo:assegura que o modelo é representativo do sistema real

• Remoção de Transientes:elimina observações iniciais (transitórias) para garantir que o sistema atingiu o regime estável (permanente)

• Critério de Parada:determina quanto deve durar a simulação


Verificação x Validação do ModeloVerificação x Validação do ModeloVerificação do modelo:

• Depuração (debugging) do programa• Atividade do programador

Validação do modelo:• Modelo = Mundo Real ?• Atividade do modelador

Resultam em quatro possibilidades:• 1. Não-verificado, Inválido• 2. Não-verificado, Válido• 3. Verificado, Inválido• 4. Verificado, Válido


Técnicas de Verificação do ModeloTécnicas de Verificação do ModeloSimulações são programas longos e nelas se aplicam

técnicas gerais de programação:de desenvolvimento, depuração e manutenção de programasde modularidade em procedimentos e interfacesde estruturação top-down

Simulações são programas que tratam de processos estocásticos que dificultam a verificação ampla e algumas restrições facilitam o processorestrições a casos determinísticosrestrições às mesmas sementes para os geradores de

números aleatórios


Técnicas de Verificação do Modelo-1Técnicas de Verificação do Modelo-11. Projeto Modular Top Down2. Medidas Antibugs3. Varrida Estruturada4. Modelos Determinísticos5. Execução de Casos Simplificados6. Trace7. Apresentação de Gráficos On-Line8. Teste de Continuidade9. Testes Degenerativos10. Testes de Consistência11. Independência das Sementes


Técnicas de Verificação do Modelo-2Técnicas de Verificação do Modelo-21. Projeto Modular Top Down

• Dividir para Conquistar: Modularidade• Módulos = Subrotinas, Subprogramas, Procedimentos.• Módulos têm interfaces bem definidas.• Podem ser desenvolvidos, depurados e mantidos

independente-mente.• Projeto Top-down estrutura hierárquica Módulos e sub-

módulos (decomposição recursiva do problema)


Técnicas de Verificação do Modelo-3Técnicas de Verificação do Modelo-32. Medidas Antibugs: Inclusão de verificações

Probabilidades = 1• Jobs remanescentes = Gerados - Servidos• Contagens de packets, nós e conexões gerados e destruídos

3. Varrida Estruturada:• Explique o código a outra pessoa ou grupo de pessoas.• Funciona pela simples explicação a terceiros

4. Modelos Determinísticos:• Uso de valores constantes em vez de aleatórios


Técnicas de Verificação do Modelo-4Técnicas de Verificação do Modelo-45. Execução de Casos Simplificados: restringir a simulação

a casos analisáveis na teoria• Apenas um pacote• Apenas uma fonte• Apenas um nó intermediário

6. Trace = Lista de eventos e variáveis ordenada no tempo• Diversos níveis de detalhes:

Trace de eventos Trace de procedimentos Trace de variáveis

• O usuário seleciona o nível de detalhes• Inclui chave de ligar e desligar


Técnicas de Verificação do Modelo-5Técnicas de Verificação do Modelo-57. Apresentação de Gráficos On-Line

• Torna a simulação interessante• Ajuda a vender os resultados• Mais compreensível do que o trace

8. Teste de Continuidade• Se baseia no fato de que pequena mudança na entrada

deve produzir pequena mudança na saída (diferente de sistemas dinâmicos com bifurcação)

• Executar para diferentes valores de parâmetros de entrada


Técnicas de Verificação do Modelo-6Técnicas de Verificação do Modelo-6Teste de Continuidade (continuação)

Antes Depois


Outras Técnicas de Verificação do Outras Técnicas de Verificação do ModeloModelo

9. Testes Degenerativos:Tente usar configurações e cargas extremas:

uma CPUnenhum discoou qualquer combinação

10. Testes de Consistência:• Resultados semelhantes para entradas que têm o mesmo

efeito:Quatro usuários a 10OMbps x Dois a 20OMbps.

• Construa uma biblioteca de testes de continuidade, degeneração e consistência

11. Independência das sementes:• Resultados semelhantes para sementes diferentes


Técnicas de Validação do Modelo-1Técnicas de Validação do Modelo-1 Técnicas de validação: asseguram que as hipóteses

do modelo são razoáveis As técnicas para um problema podem não se aplicar

a outro problema (dependem do modelo)


Técnicas de Validação do Modelo-2Técnicas de Validação do Modelo-2 Aspectos a serem validados:

• 1. Hipóteses• 2. Valores dos parâmetros de entrada e distribuições• 3. Valores de saída e conclusões

Técnicas:• 1. Intuição do especialista• 2. Medidas de um sistema real• 3. Resultados teóricos

3 aspectos x 3 técnicas = 9 testes de validação


Técnicas de Validação do Modelo-3Técnicas de Validação do Modelo-31. Intuição do especialista

• Forma mais prática e comum• Especialistas = envolvidos no projeto, arquitetura,

implementação, análise, marketing ou manutenção do sistema Seleção = função do estágio do ciclo de vida do sistema Apresentar e discutir hipóteses, entradas e saídas Validar uma parte de cada vez ao longo do processo Observar se os especialistas conseguem distinguir as medições

reais dos resultados do modelo.Exemplo:


Técnicas de Validação do Modelo-4Técnicas de Validação do Modelo-42. Medidas de um Sistema Real

• Comparar as hipóteses, entradas e saídas com o mundo real (utilizar as técnicas vistas na aula de comparação entre 2 sistemas)

• Freqüentemente é inviável ou muito caro• Mesmo uma ou duas medidas contribuem para a validação

(diagrama)


Técnicas de Validação do Modelo-5Técnicas de Validação do Modelo-53. Resultados Teóricos

• Fazer Análise = Simulação sob hipóteses simplificadasem: y = ax2 + bx + c ou y = k (x - x1) (x - x2)

fazer: b = c = 0 ou x1 = x2 = 0, não a = 0 • Usados tanto para validar as análises quanto as simulações• Cautela: ambos podem ser inválidos (não representam o

comportamento do sistema real)• Usar teoria em conjunto com a intuição de um especialista ou

medições de um sistema real• Aplicar a teoria para uma configuração maior• Um "modelo completamente validado" é um mito.• Pode-se mostrar que o modelo não é inválido para algumas das

situações comparadas. Tentar cobrir os casos mais importantes.


Remoção de Transientes-1Remoção de Transientes-1 Geralmente estamos interessados no desempenho do

sistema em regime permanente Ao iniciar a operação, o sistema passa por um regime

transitório até se estabilizar.Transientes de um circuito linear de 2a ordem (RLC)

superamortecido subamortecido


Remoção de Transientes-2Remoção de Transientes-2 No caso geral, não há uma definição exata do que

seja o regime transitório. Assim, teremos soluções heurísticas:• 1. Execuções longas• 2. Inicialização apropriada• 3. Truncamento• 4. Descarte dos dados iniciais• 5. Média móvel de replicações independentes• 6. Médias de lotes (Batch)


Técnicas de Remoção de Transientes-1Técnicas de Remoção de Transientes-11. Execuções Longas:

• Consiste em realizar simulações longas o suficiente para assegurarem que as condições iniciais não afetem os resultados

• Desperdiçam recursos• É difícil assegurar que são longas o bastante

2. Inicialização Apropriada:• Consiste em iniciar a simulação num estado próximo ao do

regime permanente esperado• Reduz o comprimento e o efeito do regime transiente.• Exemplo: Considerar jobs na fila em vez de fila vazia. Partir de

uma análise simples ou de simulação anteriores.Nas técnicas seguintes se supõe que a variabilidade é

menor no regime permanente que no transitório.


Técnicas de Remoção de Transientes-2Técnicas de Remoção de Transientes-23. Truncamento

• Plote o máx-min (range) de n - l observações para l = 1, 2, ...• Quando a (l + 1)-ésima observação não for nem um mínimo

nem um máximo encerrou o regime transiente.Exemplo:1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 10, 9, 10, 11, 10, 9, 10, 11, 10, 9,...

Para l = 9, Range = (9, 11), próxima observação = 10Algumas vezes pode produzir resultados incorretos (se tiver

máximo ou mínimo no transiente)


Técnicas de Remoção de Transientes-3Técnicas de Remoção de Transientes-34. Descarte dos dados iniciais

• Descartar algumas observações iniciais• Calcular a média• Nenhuma mudança Regime permanente• Usar diversas replicações para suavizar a média• m replicações cada uma de tamanho n• xij = j-ésima observação da i-ésima replicação• Passos:

1. Obtenha a trajetória média, tomando a média entre as replicações:

njxm

xm

iijj ,...2,1,1

1

n

jjx

nx

1

12. Obtenha a média global


Técnicas de Remoção de Transientes-4Técnicas de Remoção de Transientes-4Descarte dos dados iniciais (continuação)

faça l = 1 e prossiga para o próximo passo

3. Descarte as primeiras l observações e obtenha uma média global a partir dos restantes n - l valores:

n

ljjl x

lnx

1

1

xxxl relativa mudança

4. Calcule a mudança relativa:

5. Repita os passos 3 e 4 variando l de l a (n - l)6. Plote a média global e a mudança relativa7. Valor de l no joelho = comprimento do intervalo transiente


Técnicas de Remoção de Transientes-5Técnicas de Remoção de Transientes-5Descarte dos dados iniciais (continuação)


Técnicas de Remoção de Transientes-6Técnicas de Remoção de Transientes-65. Média Móvel de Replicações Independentes (Média

dentro de uma janela de tempo móvel)• 1. Obtenha uma trajetória média tomando a média entre

replicações:

Faca k = 1 e prossiga para o próximo passo.• 2. Plote uma trajetória da média móvel de 2k + 1 valores

• 3. Repita o passo 2, com k = 2,3, ... até que a curva fique suave.• 4. O valor de j no joelho corresponde ao comprimento da fase

transiente.


Técnicas de Remoção de Transientes-7Técnicas de Remoção de Transientes-7


Técnicas de Remoção de Transientes-8Técnicas de Remoção de Transientes-86. Médias de Lotes (Batch)

• Execute uma simulação longa e divida-a em partes (batches ou lotes ) de igual duração

mjxn

xn

iiji ,...2,1,1

1

• Estude a variância das médias dos lotes em função do comprimento do lote

• Passos:1. Para cada lote, calcule a média do lote:


Técnicas de Remoção de Transientes-9Técnicas de Remoção de Transientes-9Médias de Lotes (Batch) (continuação)

• Passos: (continuação)• 2. Calcule a média total:

• 3. Calcule a variância das médias dos lotes:

• 4. Repita os passos 1 e 3, para n = 3, 4, 5,...• 5. Faca um gráfico da variância em função do comprimento

n do lote.• 6. O valor de n no qual a variância definitivamente começa

a decrescer, corresponde ao intervalo transiente.

m

iix

mx

1

1

2

1

)(1

1)( xxm

xVarm

ii


Técnicas de Remoção de Transientes-10Técnicas de Remoção de Transientes-10Médias de Lotes (Batch) (continuação)

Motivação: Comprimento do lote << transiente média global = média

inicial Menor variância Comprimento do lote >> transiente média global = média do

estado permanente Menor variânciaIgnore os picos seguidos por uma nova subida.


Critério de Parada: Estimativa da Critério de Parada: Estimativa da Variância-1Variância-1

Execute até que o intervalo de confiança seja estreito o bastante

nxVarxVar )()(

)(),( )21( xVarzxba Para observações independentes:

Independência não é aplicável a muitas simulações. Grande tempo de espera para o i-ésimo job Grande tempo de espera para o (i +1)-ésimo job


Critério de Parada: Estimativa da Critério de Parada: Estimativa da Variância-2Variância-2

Para observações correlacionadas:

nxVar )(real Variância

Soluções:• 1. Replicações Independentes• 2. Médias de Lotes (batches)• 3. Método Regenerativo


Técnicas de Estimativa da VariânciaTécnicas de Estimativa da Variância1-Replicações Independentes1-Replicações Independentes

Supõe que as médias de replicações independentes são independentes

Conduza m replicações de tamanho n +n0 cada• 1. Calcule a média para cada replicação:

• 2. Calcule a média geral para todas as replicações:


Técnicas de Estimativa da Variância-1Técnicas de Estimativa da Variância-1Replicações Independentes Replicações Independentes

(Continuação)(Continuação)• 3. Calcule a variância das médias das replicações:

• 4. O intervalo de confiança para a resposta média é:

Mantenha as replicações longas para evitar desperdícios

Normalmente bastam dez replicações


Técnicas de Estimativa da Variância-2Técnicas de Estimativa da Variância-2Médias de Lotes Médias de Lotes (batches)(batches)-1-1

Também chamado de método das subamostras Execute uma simulação por um tempo longo

• Descarte o intervalo transiente inicial e divida as observações restantes em diversos lotes ou subamostras

1. Calcule a média para cada lote:

2. Calcule a média geral:


Técnicas de Estimativa da Variância-2Técnicas de Estimativa da Variância-2Médias de Lotes Médias de Lotes (batches)(batches)-2-2

3. Calcule a variância das médias dos lotes:

4. O intervalo de confiança para a resposta média é:

Menos desperdício do que replicações independentesMantenha os lotes longos para evitar correlaçõesVerificação: Calcule a autocovariância de médias de

lotes sucessivos:

Dobre n até que a autocovariância seja pequena.


Médias de Lotes Médias de Lotes (batches)(batches)-2-2Estudo de Caso: Redes de InterconexãoEstudo de Caso: Redes de Interconexão

Redes n-cubo binárias indiretas: Usadas para a inter-conexão entre processadores e memórias

Rede de dois estágios com fan-out completo.• Comprimento do lote Autocovariância Variância• 1 -0,18792 1,79989• 2 0,02643 0,81173• 4 0,11024 0,42003• 8 0,08979 0,26437• 16 0,04001 0,17650• 32 0,01108 0,10833• 64 0,00010 0,06066• 128 -0,00378 0,02992• 256 0,00027 0,01133• 512 0,00069 0,00503• 1024 0,00078 0,00202Com comprimento 64, auto-covariância < 1% da variância da

amostra


Técnicas de Estimativa da Variância-3Técnicas de Estimativa da Variância-3Método Regenerativo-Método Regenerativo-11

O comportamento após o período ocioso não depende da história passada Sistema tem um novo nascimento Ponto de regeneração

Ciclo de regeneração: Entre dois pontos sucessivos de regeneração



Usar as médias dos ciclos de regeneração Problemas:

• Nem todos os sistemas são regenerativos• Comprimentos diferentes Cálculo mais complexo• Média geral Média das médias dos ciclos

As médias dos ciclos são dadas por:



Média geral:

1. Calcule as somas dos ciclos:

2. Calcule a média geral:



3. Calcule a diferença entre as somas esperada e observada dos ciclos:

4. Calcule a variância das diferenças:



5. Calcule o comprimento médio dos ciclos:

6. O intervalo de confiança para a resposta média é dado por:

7. Não há necessidade de remover observações do período transiente.



Problemas:• 1. Os comprimentos dos cicios são imprevisíveis.

Não dá para planejar o tempo de simulação antecipadamente.

• 2. Encontrar o ponto de regeneração pode demandar um monte de verificações após cada evento.

• 3. Muitas das técnicas de redução da variância não podem ser utilizadas devido ao comprimento variável dos ciclos.

• 4. Os estimadores da média e da variância são polarizados


Simulações TerminaisSimulações Terminais Temos interesse no desempenho do transiente

Exemplo, Tráfego de redes Sistemas que são desligados

Não é necessária a remoção de transientes.

Condições finais:Pode ser necessário excluir dos resultados a parte final da

simulaçãoTécnicas semelhantes às de remoção de transientes.


Tratamento de Entidades AbandonadasTratamento de Entidades Abandonadas Tempo médio de serviço:

Tempo total de serviçoNúmero de jobs que completaram o serviço

Tempo médio de espera:Soma do tempo de esperaNúmero de jobs que receberam serviço

Comprimento Médio da Fila:Comprimento da fila no evento jNúmero de eventos nComprimento-da-fila(t)dt


Referências BibliográficasReferências Bibliográficas Raj Jain (1991)

The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement and ModelingJohn Wiley & SonsCapítulo 25


Redução da VariânciaRedução da Variância Reduza a variância através do controle das cadeias

de números aleatóriosIntroduz correlação em observações sucessivas

Problema: O uso sem o devido cuidado pode não dar certo, levando a aumentar a variância.

Apenas para analistas com conhecimentos sofisticados de estatística

Não é recomendado para iniciantes


Redução da Variância: Redução da Variância: Exercício 25.1Exercício 25.1 Imagine que você foi chamado como um especialista

para rever um estudo de simulação. Quais dos seguintes resultados de simulação você consideraria como não-intuitivo e gostaria de tê-los validado cuidadosamente:1. A vazão de um sistema aumenta à medida que a sua carga

aumenta.2. A vazão de um sistema diminui à medida que a sua carga

aumenta.3. O tempo de resposta aumenta à medida que a carga aumenta.4. O tempo de resposta de um sistema diminui à medida que a

carga aumenta.5. A taxa de perda de um sistema diminui à medida que a carga

aumenta.

© 2000 Paulo Adeodato Avaliação de Desempenho de Sistemas Análise de Resultados de Simulação...

Documents

Transcript of © 2000 Paulo Adeodato Avaliação de Desempenho de Sistemas Análise de Resultados de Simulação...