Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências...

Diretrizes para Diretrizes para Desenvolvimento do ProjetoDesenvolvimento do Projeto

Universidade de São PauloInstituto de Ciências Matemáticas e de Computação

Departamento de Sistemas de Computação

Marcos José SantanaRegina Helena Carlucci Santana

Sarita Mazzini Bruschi

SSC 5723 Sistemas Operacionais

Roteiro da Aula

1. Diretrizes para o Desenvolvimento do Projeto - 60 minutos

2. Apresentação do cronograma – 10 minutos

3. Análise dos exemplos de projetos desenvolvidos – 20 minutos

4. Apresentação dos exemplos – 5 minutos por grupo – 40 minutos

5. Discussão dos projetos a serem desenvolvidos – 30 minutos

Desenvolvimento de um Projeto

Objetivo:

Desenvolver um projeto que envolva a avaliação de um sistema operacional ou de alguma característica de um sistema operacional por meio de um experimento

O experimento deverá considerar diferentes possibilidades que serão comparadas

O experimento deve conter uma coleta dados que deverão ser adequadamente analisados

Deverá ser realizado um planejamento do experimento

Conteúdo

1. Planejamento de Experimentos

2. Técnicas para Avaliação de Desempenho

3. Análise de Resultados

Etapas a serem consideradas 1. Estudar o sistema e definir os

objetivos

2. Determinar os serviços oferecidos pelo sistema

3. Selecionar métricas de avaliação

4. Determinar os parâmetros que afetam o desempenho do sistema

5. Determinar o nível de detalhamento da análise

6. Determinar a Técnica de Avaliação apropriada

7. Determinar modelo adequado

8. Determinar a carga de trabalho característica

9. Realizar a avaliação e obter os resultados

10. Analisar e interpretar os resultados

11. Apresentar os resultados

Planejamento de

Experimento

Análise dos

Resultados

Técnica de Avaliação

Conteúdo

Planejamento de Experimentos Conceitos Básicos Carga de trabalho Modelos para Planejamento de Experimento

Técnicas para Avaliação de Desempenho

Análise de Resultados

Planejamento de Experimento

Planejamento de Experimentos designa toda uma área de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos.

Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos.

Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis , tratamento de replicações, etc.

Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados

Objetivos• Obter o máximo de informação com um número mínimo de

experimentos

• Separar os efeitos de vários fatores no resultado observado

• Determinar o quão significante é o efeito de um fator no resultado observado.

Planejamento de Experimentos

Terminologia• Variável de Resposta – Saída de um experimento

• Fatores – Variável que afeta as variáveis de resposta e que podem assumir diversas alternativas

• Níveis – Os valores que um determinado fator pode assumir

• Replicação – Repetição de todo ou de parte de um experimento

• Projeto - Determina o número o número de fatores, níveis e as combinações entre os níveis que serão considerados.

• Interação – Dois fatores interagem se o efeito de um depende do nível do outro


Variável de Resposta

O que medir?

ter informação o mais fiel possível sobre o comportamento de um sistema

O que quero verificar?


Terminologia – Exemplo

Considere a avaliação de um banco de dados

1. Variáveis de Resposta (métricas):


•Tempo para recuperar uma informação

•Número de informações recuperadas por unidade de tempo

•Taxa de acerto ao cache

Quatro fatores:

Fator 1 – Tamanho do banco de dados

Fator 2 – Quantidade de usuários

Fator 3 – Quantidade de cache

Fator 4 – Forma de armazenamento


2. Definição dos Fatores e níveis

Fator 1 – Tamanho do banco de dados:

•20 mil registros

•1 milhão de registros

•5 milhões de registros

Fator 2 – Quantidade de usuários:

•10 usuários

•100 usuários

•1000 usuários

•10000 usuários


2. Definição dos Fatores primários e níveis

Fator 3 – Quantidade de cache:

•512K byte

•1M byte

•10 M byte

Fator 4 – Forma de armazenamento:

•RAID – nível 10 com 5 discos



Planejamento de Experimentos2. Definição dos Fatores primários e níveis

Conteúdo


Conceitos Básicos

Carga de trabalho Modelos para Planejamento de Experimento



Carga de Trabalho

“Conjunto de todas as informações de entrada que um sistema recebe durante qualquer período de tempo

determinado” [MENASCÉ, ALMEIDA, 2003]

Muito importante no planejamento de capacidade e na avaliação de sistemas

Carga de Trabalho1. Determinar que tipo de caracteristica é

importante ser representada• Depende do objetivo da avaliação

2. Nível de detalhe a ser considerado • Utilizar as requisições mais freqüentes• Considerar os vários tipos de requisições e suas freqüências

• Trace

3. Verificar a representatividade da carga de trabalho

• Taxa de chegada• Demanda por recurso• Seqüência e demanda por diferentes recursos

4. Atualização da carga de trabalho

Conteúdo


Conceitos Básicos Carga de trabalho

Modelos para Planejamento de Experimento



Planejamento Simples

Planejamento Fatorial completo

Planejamento Fatorial parcial

Modelos para Planejamento de Experimentos


Iniciar com uma configuração inicial Fixar todos os fatores e variar um fator por vez Verificar que fator afeta o desempenho

Fácil de ser implementado Não permite verificar a relação entre os fatores Estatisticamente não eficiente



Para um experimento com K fatores e ni níveis no fator i, tem-se:

K

iinn

1

)1(1



Não recomendado

Muito utilizado


Planejamento Totalmente Fatorial

Utiliza todas as combinações considerando todos os fatores e todos os níveis

Para um experimento com K fatores e ni níveis no fator i, tem-se:

K

iinn

1


Planejamento Totalmente Fatorial

Vantagens Todos os fatores são avaliados Pode-se determinar o efeito de qualquer fator Interações entre fatores podem ser verificadas

Desvantagens Grande número de experimentos Alto custo para avaliação


Formas para minimizar custosReduzir o número de níveis de cada fator Altamente recomendada

Reduzir o número de fatores Deve ser implementada com cuidado.

Utilização do método do Fatorial Parcial Parte dos experimentos são excluídos Podem ser eliminadas comparações em que se sabe, a

interação não existe ou é insignificante Mais rápido Obtém-se menos informações


Erros Comuns em Experimentos

Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações

Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis

Conteúdo




Técnicas de Avaliação de Desempenho

Sistema Medições Dados

Protótipos

Benchmarcks

Coleta de Dados

Aferição

Rede de Filas

Redes de Petri

Statecharts

Modelagem

Simulação

Analítica

Aferição

Técnicas de Avaliação de Desempenho

Modelo SoluçãoMétodos Analíticos

Simulação

Sistema

Protótipos

Benchmarcks

Coleta de Dados

Aferição

Rede de Filas

Redes de Petri

Statecharts

Modelagem

Simulação

Analítica

Modelagem

Conteúdo




Análise de Resultados - Introdução

População

População

Amostragem

Amostra

Amostra

Dados Organizados

Dados Organizados

Conclusões sobre a

população

Conclusões sobre a

populaçãoInferência

Análise Descritiva


População

População

Amostragem

Amostra

Amostra

Dados Organizados

Dados Organizados

Conclusões sobre a

população

Conclusões sobre a

populaçãoInferência

Análise Descritiva

Conjunto de Resultados

Possíveis (infinito)

Conjunto de Medições

Realizadas

Cálculo de médias, máximos,

mínimos,intervalo de confiança, erro...

Conclusões sobre o Sistema Real


Durante a obtenção de dados sobre sistemas computacionais, tem-se que...

Os Resultados de uma medição oferecem um resultado dentre

muitos outros possíveis

Qual resultado deve ser considerado?Qual resultado deve ser considerado?Como comparar dois conjuntos de resultados?Como comparar dois conjuntos de resultados?


Como analisar os diferentes Como analisar os diferentes resultados de uma avaliação?resultados de uma avaliação?

Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança

Deve-se considerar diversos resultados provenientes de diferentes execuções Para simulação: utilizar conjuntos de

números aleatórios sem correlação – diferentes sementes

Para aferição: considerar diversas medidas


O que é o Intervalo de confiança?O que é o Intervalo de confiança?

Intervalo que com uma determinada Intervalo que com uma determinada probabilidade (confiança) contem o valor do probabilidade (confiança) contem o valor do

parâmetro estudadoparâmetro estudado

N

ii nyys

1

22 1)/()(

1-

/2 /2

Intervalo de Confiança

Y Y+H Y-H

Confiança = 100*(1- )% = probabilidade de erroY = média da amostraH = Largura do Intervalo de

Confiança

Análise de ResultadosO que significa O que significa Intervalo de confiançaIntervalo de confiança??

Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo

Nada garante que o resultado de uma única execução (Yi) cairá no intervalo

1-

/2 /2

Intervalo de Confiança

Y Y+H Y-H

O resultado de uma única execução

poderá estar na área definida por /2

Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de

confiançaconfiança??

Ordenar os valores obtidos….

Ou então…Ou então…

Utiliza-se o Teorema do Limite Central e a Tabela t-student

Ou então…Ou então…

Excel, R, Minitab, SAS, etc….

Análise de ResultadosComparação entre dois experimentos

Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos

Definem se os resultados são estatisticamente diferentes

Comparação entre dois experimentos

Teste visual

A

B

Caso 1 A

BA

B

Caso 2 Caso 3

Caso 1 – ICs não sobrepostos A > B

Caso 2 – Média de um está inserida no IC do outro A = B

Caso 3 – ICs sobrepostos mas média está fora necessário outro teste

Comparação entre dois experimentos

Área de Estatística oferece grande número de testes para comparação

entre experimentos: Teste t-student – para comparar a média

de duas amostras Teste para amostras pareadas Teste para amostras não pareadas Análise de Variância - para comparar

média de três ou mais amostras Chi-Quadrado e Poisson - para valores não

contínuos

Procedimento para análise de resultados

1. Definir o objetivo do experimento2. Escolher as variáveis de resposta adequadas e

suficientes para atingir o objetivo3. Escolher os fatores e níveis adequadamente4. Realizar o experimento quantas vezes forem

necessárias5. Pensar na melhor forma de apresentar os

dados6. Fazer o tratamento estatístico adequado para

os resultados7. Observar os resultados e correlaciona-los com

o que se conhece do sistema sendo avaliado


1. Definir o objetivo do projeto/experimento/sistema

Tudo dependerá do objetivo


2. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo

Não considerar variáveis essenciais pode levar a erros na análise

Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise

Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases


3. Escolher os fatores e níveis adequadamente

Escolher poucos fatores e, se possível, apenas dois níveis por fator

Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente.

Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.


4. Realizar o experimento quantas vezes forem necessárias

Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados

Não tirar conclusões baseando-se em um único resultado


5. Pensar na melhor forma de apresentar os dados

Tabelas são ótimas para observar detalhes e valores precisos

Gráficos são adequados para melhor visualizar os resultados

Nos gráficos, cuidado com escalas e origem dos eixos

Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados


6. Fazer o tratamento estatístico adequado para os resultados

Não tirar conclusões considerando-se apenas médias

Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc.

Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados


7. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

Desconfie de resultados não esperados Tente relacionar os diferentes

resultados obtidos Tente explicar os resultados obtidos

Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências...

Documents

Transcript of Diretrizes para Desenvolvimento do Projeto Universidade de São Paulo Instituto de Ciências...