Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão...

58
Otimização

Transcript of Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão...

Page 1: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Otimização

Page 2: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Otimização

• Otimização e uma área ubíqua.• Presente em processo de tomada de decisão• Investimentos• Eficiência de processos produtivos• Custos, lucros, Materiais, etc…

Page 3: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Modelo

• Modelagem:– Funções objetivos (f(x))– Variáveis (x)– Restrições (R)– Processo de otimização -> Solução• Programação matemática• Heurísticas• Meta- Heuristicas

Page 4: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Metaheurísticas

• Otimização Estocástica é uma classe de algoritmos e técnicas que utilizam algum grau de aleatoriedade para encontrar um ótimo (o mais perto do ótimo) para problemas difíceis.

• Essentials of Metaheuristics (Sean Luke)

Page 5: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Metaheurísticas

• Iterativamente melhorar um conjunto de soluções

• Pouco conhecimento do problema • Precisa poder distinguir boas soluções• Geralmente encontra boas soluções

possivelmente não o ótimo • Adaptáveis : parâmetros ajustáveis

Page 6: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 7: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 8: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Quando aplicar

• Algoritmos usados em problemas nos quais existe pouca informação : – não se conhece a forma de uma solução ótima , – Não se sabe como encontrar ela

• Uma exploração completa e impossível devido ao tamanho do espaço

• Porem se você tem uma solução candidata , ela pode ser avaliada

Page 9: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Otimização Baseada em Gradiente

• Método matemático clássico

Page 10: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Particle Swarm OptimizationEnxame de Paticulas

Page 11: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

2000/05/05

A União faz a forca

Page 12: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

A União faz a forca

Page 13: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Nuvem de PartículasPSO - Particle Swarm Optimization (1995)

Desenvolvida por James Kennedy (psicólogo) e Russell Eberhart (engenheiro), com base no comportamento de pássaros em revoadas modelado pelo biólogo Frank Heppner.

Inspirado no comportamento e na dinâmica dos movimentos dos pássaros, insetos e peixes;

Originalmente desenvolvido para problemas de otimização com variáveis contínuas;

Desempenho similar ao dos Algoritmos Genéticos;

Page 14: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Os inventores

RussellEberhart

[email protected]

Page 15: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

JamesKennedy

[email protected]

Os inventores

Page 16: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Exemplo de Cooperação

Page 17: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 18: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Inicialização: No inicio as partículas voam aleatoriamente.

Page 19: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

PSO Elementos do algoritmo:

A : população de agentes.

xi : posição do agente ai no espaço de soluções.

f : função de avaliação.

vi : velocidade do agente ai.

V(ai) : conjunto fixo de vizinhos do agente ai.

Todos os agentes estão conectados, direta ou indiretamente

Page 20: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Otimização Nuvem de Partículas• Vantagens– Insensível a mudança de escala das variáveis;– Implementação simples;– Adaptável a computadores paralelos;– Não requer cálculo de derivadas;– Poucos parâmetros para serem definidos pelo usuário;– Bom para encontrar o mínimo global;

• Desvantagens– Rápido para localizar a bacia de atração das boas soluções,

mas lento no ajuste fino da solução (como nos algoritmos genéticos).

Page 21: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Baseia-se no comportamento social dos pássaros em revoadas, cardumes de peixes e enxames de abelhas Algoritmicamente, tem-se um conjunto de partículas que percorrem o espaço de busca apresentando comportamentos aleatórios em relação à individualidade e à sociabilidade A individualidade de uma partícula está relacionada à ênfase dada, em seus movimentos, à melhor solução já encontrada por ela mesma, enquanto sua sociabilidade reflete o grau de importância dado por ela à melhor solução já encontrada por seus vizinhos O conceito de vizinhança em PSO não é o mesmo utilizado pelas meta-heurísticas de busca por entornos, pois cada partícula, associada a uma solução que evolui, é vizinha de um conjunto de partículas que nunca é alterado A estrutura de vizinhanças é construída de forma que os progressos obtidos em cada região tenham influência, potencialmente, em todas as partículas

Page 22: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Aplicações de PSO Aplicações comuns:

Evolução de redes neurais artificiais Extração de regras de RNAs Escalonamento de tarefas (Multi-objective Job shop scheduling) Roteamento de veículos (Capacitated Vehicle Routing)

Aplicação recente: Bandwidth Minimization Problem - BMP (2003).

Algumas aplicações recentes (2004): Caminho ótimo para operações de perfuração automatizadas. Mineração de dados para tarefas de classificação. Posicionamento de bases em computação móvel. Aproximação poligonal ótima de curvas digitais.

Page 23: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Separação: usada para evitar aglomerações de partículas

Alinhamento: encaminhar a busca para a partícula “representante” do grupo

Coesão: uma partícula movimenta-se na “média” dos seus vizinhos

Imitando a natureza

Page 24: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

PSO é um método baseado em população, como o Algoritmo Genético

Entretanto, o conceito básico é cooperação em vez da rivalidade

Apesar da semelhança com AG, esta técnica não usa operadores genéticos (crossover, mutação, etc)

Uma partícula movimenta-se com velocidade Usando a própria experiência Além da experiência de todas as partículas

A idéia é similar ao bando de pássaros (ou cardume de peixes ou enxame de abelhas) procurando comida

Habilidade de troca de informações entre vizinhos Habilidade de memorizar uma posição anterior Habilidade de usar informações para tomada de

decisões

Page 25: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Notação

Page 26: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Notação

Page 27: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Força a partícula a mover-se na mesma direção

Tendência para seguir a própria direção com a mesma velocidade

Atualização da velocidadeTrês termos definem uma nova velocidade para uma partícula:

1. Termo de inércia

2. Termo cognitivo

3. Termo de aprendizado social

Melhora o indivíduo Força a partícula a voltar

a uma posição anterior que seja melhor do que a atual

Tendência conservativa Força a partícula a seguir a direção de seus melhores vizinhos

Como em todo rebanho, mas seguindo os melhores

Page 28: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Idéia básica: comportamento cognitivo

Um indivíduo lembra do conhecimento passado

Qual a melhor

direção?

comida: 10

comida: 8

comida: 5

Page 29: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Idéia básica: comportamento social

Um indivíduo adquire conhecimento dos demais membros do grupo

Qual a melhor

direção?pássaro 1comida: 1

pássaro 2comida: 3

pássaro 3comida: 2

pássaro 4comida: 4

Page 30: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

aprendizado social

PSO tradicional – Eberhart, R. C. and Kennedy, J. (1995)

Atualização de velocidade e posição

inércia cognitivoPara cada agente ai :

vi = wvi + η1.rand().(pbesti - xi) + η2.rand().(gbesti - xi)

xi = xi + vi

onde:

pbesti é a melhor posição em que a partícula ai já esteve

gbesti é a melhor posição em que algum vizinho de ai já esteve.

w é o peso de inércia

Page 31: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Inicialize as partículas com posições aleatórias e velocidades

nulas

Calcular os valores fitness

Compare os fitness com os melhores valores do indivíduo (pbest) e dos demais (gbest)

O critério de parada está satisfeito?

Atualize velocidades e posições

Início

FimSIM

NÃO

Page 32: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 33: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

1

2

3

Problema de minimização

melhor partículaoutra partícula

1. Inicialização as posições 2. Criando o vetor de

velocidades

Exemplo: 1ª Iteração

Page 34: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

11

2

3

Exemplo: 2ª Iteração

Problema de minimização

melhor partículaoutra partícula

1. Atualizando as posições 2. Modificando o vetor de

velocidades

Page 35: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Termo de inércia

Page 36: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Melhor posição individual (pbest)

Posição atual (x)

Melhor posição do indivíduo (pbest)

Page 37: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Posição atual (x)Melhor posição do indivíduo (pbest)Melhor posição global (gbest)

Melhor posição global (gbest)

Page 38: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 39: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 40: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 41: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 42: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Melhoramentos e Variantes

• Redução linear da ponderação de inércia;• Fator de constrição;• Modelos com Vizinhanças.

Page 43: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 44: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Fator de Constrição

• Fator de Constrição foi introduzido por Clerc e Kennedy (2002).

• Tornou-se muito popular nos algoritmos recentes de nuvem de partícula.

Page 45: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 46: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Modelos com Vizinhanças

• A cada partícula é atribuído uma vizinhança;• As vizinhanças tornam mais lento a

transmissão da melhor posição atráves da nuvem;

• Converge mais lentamente, mas melhora a diversificação.

Page 47: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 48: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 49: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,
Page 50: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Armadilhas da técnica PSO

As partículas tendem a se agrupar, ou seja, devido a uma convergência rápida demais, a solução fica presa em um ponto ótimo local

O movimento de alguma partícula pode ser levado a um ponto de solução infactível

As partículas poder mapear um espaço inapropriado de soluções factíveis

Page 51: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Problema: Partículas tendem a se agrupar, reduzindo a capacidade de movimentos da nuvem para soluções melhores.

Page 52: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Solução: reiniciar algumas partículas em novas posições, as quais podem mover-se para áreas com soluções melhores. As demais partículas podem mover-se para estas áreas.

!

Page 53: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Inicialize as partículas em posições aleatórias e velocidades nulas

Calcule os valores fitness

Achou um critério de

busca local?

Compare/atualize os valores dos fitness pbest e gbest

Critério de

parada?

Atualize velocidades e posições das partículas

Critério de reinicialização

?

Início

Fim

Busca local

Reinicialize algumas partículas

SIM

SIM

SIM

NÃO

NÃO

NÃO

Page 54: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Restrições da técnica

Mapeamento das partículas em direção às soluções

Dimensões Função de fitness Número de partículas Estrutura do aprendizado social

Valores dos parâmetros (1 2 w)

Como eliminar partículas em regiões infactíveis Critério de parada

Page 55: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Principais elementos Intensificação é a exploração das soluções

encontradas em procuras anteriores Diversificação é a busca por soluções ainda não

visitadas

Encontrar o equilíbrioIntensificaçã

oDiversificaç

ão

Identifica rapidamente regiões com potencial

para melhores soluções

Encontra rapidamente a

melhor solução de uma região

Page 56: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Exemplo

partículas x v 11 2,5 1 0

2 5,6 2 0

3 10,5 3 0

Minimizarf(x)=(x-4) 2̂-(x-8) 3̂+5

Utilizar o algoritmo de PSO para encontrar pontos de mínimo da função abaixo, usando as 3 partículas dadas abaixo:

-100

0

100

200

300

400

500

600

0 1 2 3 4 5 6 7 8 9 10 11 12 13

pso

Page 57: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

posição f(x) velocidade atualização2.5 173.625 13.59356994 16.093569945.6 21.384 0.559038295 6.15903829510 33 melhor global

0.9062379960.03726922

Primeira Iteração

Page 58: Otimização. Otimização e uma área ubíqua. Presente em processo de tomada de decisão Investimentos Eficiência de processos produtivos Custos, lucros, Materiais,

Pesquisas atuais de PSO

PSO com termos sociais múltiplos Diferentes índices de medidas para PSO Partículas heterogêneas PSO hierárquico PSO para o problema de escalonamento de

tarefas(JSS) PSO para roteamento de veículos PSO para extração de regras de RNA PSO para problemas com restrições de recursos