PSO – Aplicação em Problemas Multiobjective, Constrained e Minimax Carlos Carlim.

PSO – Aplicação em Problemas Multiobjective, Constrained e Minimax

Carlos Carlim

Introdução

• Aplicação de PSO e suas variações em três diferentes tipos de problemas de otimização:

a) Multiobjectivob) Constrainedc) Minimax

Agenda1. Aplicação em Otimização Multiobjectivo

1. Conceitos fundamentais2. Importantes questões sobre aplicações3. Variantes de PSO que exploram cada função objetivo separadamente

1. Abordagem agregação de Peso2. Abordagem ordenação3. Abordagem Não-Pareto

4. Variantes baseadas no domínio de Pareto2. Aplicações em otimização Constrained3. Aplicações em otimização Minimax4. Conclusões5. Referências

Aplicação em Otimização Multiobjectivo

• Otimização Multiobjectivo (MO)– Busca resolver problemas com diferentes

objetivos– Os objetivos precisam ser tratados

simultaneamente.– Pareto ótimo • análogo ao ótimo global para funções com um único

objetivo• Conjunto de soluções ótimas

Pareto ótimo

Fonte: http://www-cdr.stanford.edu/ProcessLink/papers/pareto.html

Os círculos representam objetivos, os quais são satisfeitos quando a área do círculo é maximizada. As restrições são que os círculos não podem se sobrepor e que limitados pelos lados do triângulo.

Se impor como função objetivo global – a soma das áreas. Apenas “c” é um ótimo global.

Ex.:

Conceitos Fundamentais

• Fazendo um espaço de busca n-dimensional e , i = 1, 2, ...,k. Sendo k funções objetivos definidas sobre A.

• f(x) será um vetor de funções definido como:


Seja m restrições diferentes. As funções objetivo, fi (x), pode estar em conflito uns com os outros, assim, a detecção de um mínimo global único para todos é impossível. Então o conceito de otimização para problemas MO precisa ser redefinido.Assim,

Dois vetores de dimensão k.


Definição 1• O vetor u domina o vetor v, se e somente se:

– , para todo i = 1, 2, ..., k. E– , para pelo menos uma componente i.

• Esta propriedade é conhecida como Dominância de Pareto


Definição 2• A solução , de um problema MO é dita um ótimo

de Pareto, se e somente se não existir nenhuma outra solução, , tal que f(y) domina f(x).

• Dizemos que x é não dominado com relação a A.• O conjunto de todas as soluções ótimas de

Pareto é chamado de Conjunto Ótimo de Pareto.• E será denominado por .


Definição 3• O conjunto dos valores das funções de vetores

de todas as soluções ótimas de Pareto é denominado Pareto front.– PF* = {f(x): x ∈ P*}

Conceitos FundamentaisPareto front• Convexo

– Se e somente se, para todo u, v ∈ PF*, e todo λ (0,1),∈ existe um vetor w ∈ PF*, tal que:

– λ ||u|| + (1-λ) ||v|| ≥ ||w||• Côncavo

– Se somente se– λ ||u|| + (1-λ) ||v|| ≤ ||w||

• Pode ser parcialmente convexo e/ou côncavo e também descontínuo.


• O objetivo principal de MO é detectar todas as soluções ótimas de Pareto.– x* = (x1*, x2*,…,x*), de f(x).

• Contudo o conjunto de soluções ótimas de Pareto pode ser infinito.

• Neste caso o objetivo principal é reduzido para detectar o maior número possível de soluções ótimas de Pareto, com menor desvio de PF e menor espalhamento.

Importantes Questões sobre Aplicações

• MO PSO pode ser dividido em duas categorias:– PSO que considera cada função objetivo

separadamente.– PSO que calcula todas as funções objetivos de

cada partícula.


PSO considerando cada função objetivo separadamente.– Nesta abordagem cada partícula é calculada apenas com

uma função objetivo de cada vez, e as melhores posições são determinadas seguindo o PSO padrão.

– O desafio nesta abordagem é manipular adequadamente a função objetivo guiando a partícula em direção ao ótimo de Pareto.


PSO considerando todas as funções objetivos de cada partícula.– Baseado no conceito de ótimo de Pareto– Produz leaders – os não dominados na melhor posição.– Os leaders guiam a partícula.– O desafio nesta abordagem é determinar os leaders, já que

estes tem que ser selecionados dentre diversas soluções não dominadas na vizinhança da partícula.


• Em ambas as abordagens uma grande quantidade de soluções ótimas de Pareto podem ser produzidas em apenas uma rodada do algoritmo.

• Então, como armazenar estas soluções?– Armazenar apenas as soluções não dominadas nas

melhores posições.• Não é valido nos casos em que PF excede o tamanho do

enxame.• A seleção de uma dentre duas igualmente boas soluções não

dominadas, dependeria de definir um critério de seleção.


• Não é valido nos casos em que PF excede o tamanho do enxame.– Utilizar um arquivo externo para armazenar as soluções não

dominadas encontradas. – Um procedimento de atualização será realizada a cada iteração do

algoritmo. Durante este procedimento, o arquivo é verificado e novas soluções são introduzidas, enquanto os dominados são removidos para que seu tamanho se mantenha fixo as restrições de armazenamento.

• A seleção de uma dentre duas igualmente boas soluções não dominadas, dependeria de definir um critério de seleção.– Este caso está relacionado as particularidades de cada problema e

deve ser analisada caso a caso.


• Pseudo código do MO PSOBegin

Initialize swarm, velocities and best positions.Set an empty set as the external archive.While (stopping criteria not satisfied) Do

For each particle of the swarmSelect a leader from the external archive (if applicable).Update particle velocity and position.Evaluate new particle position.Update best position and external archive.

End ForEnd While

End


• Pseudo código do MO PSOBegin

Initialize swarm, velocities and best positions.Set an empty set as the external archive.While (stopping criteria not satisfied) Do

For each particle of the swarmSelect a leader from the external archive (if applicable).Update particle velocity and position.Evaluate new particle position.Update best position and external archive.

End ForEnd While

End

O “pulo do gato”, está em realizar estas duas etapas de maneira “ótima”


• Select a leader from the external archive1. Determinar medidas de qualidade para cada

membro do arquivo.1. nearest neighbor density estimator (Deb et al., 2002)2. kernel density estimator(Deb & Goldberg, 1989)Ambos são capazes de estimar a quantidade e a distância dos vizinhos dado um ponto.


• Update best position and external archive.

– Se a nova solução for não dominada por todos os membros • incluir no arquivo.• Se algum membro do arquivo for dominado pela nova

solução – Retirar membro



– IMPORTANTE– Deve-se atentar ao tamanho dos arquivos– Os arquivos crescem rapidamente– Os testes de dominância são computacionalmente

custosos– Considerar sempre o tamanho do arquivo para

evitar longas esperas em cada iteração do algoritmo



– Depende de qual variação do algoritmo PSO está sendo utilizada.• MO PSO – cada função objetivo é calculada separadamente• MO PSO – abordagem de Pareto



• MO PSO – cada função objetivo é calculada separadamente

– Nesta situação a atualização é realizada da mesma forma que o PSO padrão.



• MO PSO – abordagem de Pareto• Se a nova posição domina a posição atual

– Substituir melhor posição• Se a nova solução for não dominada

– Substituir melhor posição• Este ultimo passo gera diversidade no enxame


• Considerações– Até o momento não existe evidencia experimental

de qual variação e topologia do PSO é a melhor para resolver os problemas MO.

Estado da Arte

• Neste momento serão abordados o estados da arte das duas variações dos MOPSO

• PSO por cada função objetivo separada• PSO pela abordagem de Pareto

Variantes de PSO que exploram cada função objetivo separadamente

• Combina todas as funções objetivo em uma, ou• Considera separadamente cada uma das funções• Atualização das partículas e da melhor posição é realizada

pelo método do PSO padrão• Arquivos externos são utilizados para armazenar soluções não

dominadas• Sua principal desvantagem é a dificuldade de definir um

algoritmo para manipular adequadamente as funções objetivo para que estas convirjam parao Pareto front (Jin et al., 2001).


• Nesta categoria encontram-se:

1. Abordagem agregação de Peso2. Abordagem ordenação da função objetivo3. Abordagem Não-Pareto


• Abordagem por Agregação de Peso

– Esta abordagem combina todas as funções objetivo agregando um peso a cada uma delas.

– Então, o problema MO foi transformado em um problema com apenas uma função objetivo e pode-se realizar um PSO padrão.

Peso não negativo


• Abordagem por Agregação de Peso– Caso o peso mantenha-se constante durante a execução denomina-se

• conventional weighted aggregation (CWA)• Possui muitas deficiências devido sua simplicidade• Ex.: O algoritmo tem que ser aplicado várias vezes, mudando

apenas o valor do peso, para alcançar um número razoável de soluções não dominadas. Já que uma única solução é calculada por rodada.

• Não consegue detectar soluções em regiões côncavas de Pareto Front (Jin et al., 2001).


• Abordagem por Agregação de Peso– Ajuste dinâmico do Peso

• bang-bang weighted aggregation (BWA)– Ex: Para problemas bi-objetivo o peso se adapta segundo (Jin et al.,

2001):

– Onde a é a frequência de adaptação definida pelo usuário, e t o número de iterações.

– sign – 1 para x >0 ; -1 para x < 0 e 0 para x = 0



• dynamic weighted aggregation (DWA)– Ex: Para problemas bi-objetivo o peso se adapta segundo:

– Onde a é a frequência de adaptação definida pelo usuário, e t o número de iterações.



» Em ambas as abordagens a variação do peso força o algoritmo mover-se na direção do Pareto front.

» Claro que as mudanças são mais acentuadas em BWA, do que em DWA

» Experimentos com GA revelaram superioridade do DWA em Pareto fronts convexo

» No caso de Pareto fronts côncavo os resultados foram os mesmos.


• Parsopoulos e Vrahatis (2002a, 2002b) propuseram um MO PSO utilizando abordagem de agregação de peso.

• Estudaram a performance do algoritmo em problemas bi-objetivo

• Utilizando CWA, BWA e DWA.

Definições dos problemas


• Parâmetros


Resultados - Parsopoulos and Vrahatis (2002a, 2002b) para CWA


Resultados - Parsopoulos and Vrahatis (2002a, 2002b) para CWA

Apenas dois pontos foram detectados

Apenas a parte convexa foi detectada

Como já mencionado, CWA não é capaz de detectar regiões côncavas.


Resultados - Parsopoulos and Vrahatis (2002a, 2002b) para BWA e DWA

Ambas abordagens foram capaz de detectar o Pareto front.


• Parsopoulos e Vrahatis (2002a, 2002b)• Considerações– CWA detecta apenas um ótimo de Pareto por rodada.

• PSO é repetido 20 vezes para • PSO é repetido 40 vezes para

– BWA e DWA são utilizadas técnicas de arquivamento descrita em Jin et al.(2001)

– Não foram realizados testes para problemas MO com mais de duas funções objetivo.


• Baumgartner et al. (2004)• Propôs uma abordagem similar com a apresentada

anteriormente.• Cada swarm é dividido em subswarms, cada um utilizando

ajuste específico de peso.• A melhor partícula de cada subswarm é indicada como líder

do conjunto.


• Baumgartner et al. (2004)• Uma preliminar decisão de Pareto é definida para investigar

soluções candidatas ótimas de Pareto. Para cada partícula, x, tem-se:

– t = número de iterações– Se a relação é verdadeira x, pode ser um ótimo de Pareto– Então é calculado o gradiente das funções objetivo fi, i = 1, 2,…, k, no

ponto x + Δx.


• Baumgartner et al. (2004)– t = número de iterações– Se a relação é verdadeira x, pode ser um ótimo de Pareto– Então é calculado o gradiente das funções objetivo fi, i = 1, 2,…, k, no

ponto x + Δx.– Se a função objetivo não melhora seu resultado– Então x é um ótimo de Pareto e é removido do swarm

• Apesar de apresentar bons resultados em test problems, o algoritmo não foi completamente calculado e comparado com outras abordagens de PSO


• Mahfouf et al. (2004)– Propôs uma abordagem dinâmica de peso

modificada.– O decrescimento linear do peso foi modificado

pela incorporação operador de mutação para aliviar a estagnação do enxame.

– Transformando a atualização da velocidade em:


• Mahfouf et al. (2004)– Transformando a atualização da velocidade em:

– Onde a é a aceleraçãoDependente do número atual da iteração.

Entre 0.5 e 1.0


• Mahfouf et al. (2004)– Após computar a nova posição da partícula– Ambas posições, nova e antiga, são inseridas em uma lista.– É aplicada à lista o non-dominated sorting technique (Li,

2003)• Seleciona as partículas não dominadas.

– Estas partículas sofrem uma mutação e formam o próximo enxame na próxima iteração do algoritmo.


• Mahfouf et al. (2004)– Aplicado em um problema da indústria de aço– Apresentou resultados promissores– Seu desempenho competitivo pode ser atribuído

• Operador de mutação, que preserva a diversidade do enxame.• A técnica de seleção das partículas, que permite uma abordagem

direta dos pontos próximos ao Pareto front


• Abordagem por Ordenação– Classificam as funções objetivo de acordo com sua importância.– A minimização ocorre para cada função separadamente, a partir do

mais importante.– Hu and Eberhart (2002) propuseram um esquema de ordenação.

• O algoritmo mantém a função objetivo mais simples fixa e minimiza as demais.

• Utilizou-se uma variação do PSO com um vizinho mais próximo dinâmico.• As soluções não dominadas são armazenadas como melhores posições das

partículas• Não é necessário utilizar arquivo externo.


• Abordagem por Ordenação– Bons resultados para problemas com duas funções objetivo.– Hu et al. (2003a) – adicionou um arquivo externo

» Armazenar as soluções não dominadas e reduzir o custo computacional.


• Abordagem Não-Pareto– Parsopoulos e Vrahatis (2002a, 2002b)– VEPSO – cap. 4

» Um enxame por função objetivo» As melhores posições são utilizadas para atualizar as velocidades

de outra função objetivo que corresponda a outro enxame.


• Abordagem Não-Pareto– Parsopoulos e Vrahatis (2002a, 2002b)


• Abordagem Não-Pareto– Chow and Tsui (2004) – Multi-species PSO– Conjunto de subswarms, cada calculado com uma função objetivo– A informação da melhor partícula é informada aos vizinhos do

subswarm, para a atualização da velocidade.– A velocidade da i-ésima partícula e do k-ésimo swarm é atualizado

por:


• Abordagem Não-Pareto– Chow and Tsui (2004)

» = número de swarms que se comunicam com o k-ésimo» = melhor posição do l-ésimo swarm, l = 1, 2, ...,

– Competitivo comparado as outras abordagens de MO PSO

Variantes Baseadas no Domínio de Pareto

• Determina os leaders para guiar o enxame durante a busca.

• Durante a busca devem ser considerados:– Diversidade do enxame.– Espalhamento do Pareto front.


Coello Coello et al., 2004• Uma das primeiras abordagens baseadas em Pareto• As soluções não dominadas são armazenadas em um

arquivo – repositório• O espaço de busca é dividido em hipercubos.• Para cada hipercubo é determinado um valor de

capacidade, inversamente proporcional ao número de partículas que contém.

• O hipercubo e seu leader é selecionado utilizando o método roullette wheel selection.


Coello Coello et al., 2004• A velocidade da i-ésima partícula é atualizada

peso Melhor posição

Leader selecionado do arquivo

A melhor posição é atualizada a cada iteração, caso ela seja dominada pela nova posição.


Coello Coello et al., 2004• retention criterion – determina o limite do

repositório– Permite que novas soluções sejam inseridas,

mesmo que o repositório esteja lotado.– Soluções localizadas em áreas menos populosas do

espaço objetivo, tem prioridade sobre as demais.– Mostrou-se competitivo quando comparado com o

NSGA-II e PAES.


Fieldsend et al., 2003• árvore dominada (dominated tree)– Estrutura em árvore– Trunca os limites dos arquivos– Mantendo sem restrições o processo de

arquivamento– Craziness – insere uma mutação na velocidade,

preservando a diversidade do enxame– Competitivo com o PAES


Bartz-Beielstein et al. (2003)• DOPS – método de arquivamento elitista• Fsel – mede a influência da partícula no Pareto

front. A melhor posição é selecionada por uma roulette wheel selection.

• Fdel – deleta um membro do arquivo, quando o tamanho máximo é alcançado.


Mostaghim and Teich (2003a, 2003b,2004)• MOPSO com novos métodos de seleção e

atualização da posição da partícula.


Mostaghim and Teich (2003a)• MOPSO combinado com método sigma• Atribuí um valor numérico a cada partícula e

membro do arquivo.• Superou o algoritmo SPEA2 para funções bi-

objetivo.• Funções com 3 objetivos o SPEA2 obteve

resultados melhores.


Mostaghim and Teich (2003b)• Combinou MOPSO com conceitos de

ε-dominance• Foco – metodologia de arquivamento• Resultados promissores quando comparado

com abordagens baseadas em clusterização.


Mostaghim and Teich (2004)• Converge para o Pareto front usando sub-

enxames e arquivo externo ilimitado.• Os resultados superaram o Hybrid-MOEA• Bom desempenho para problemas com vária

funções objetivo.


Toscano Pulido e Coello Coello(2004)• AMOPSO – another MOPSO• O espaço de busca é divido em sub-enxames.• Cada sub-enxame possuí um grupo de líderes,

formado por um grande número de soluções não dominadas.

• O líder é selecionado aleatoriamente do grupo e servirá como guia do sub-enxame.

• Não utiliza arquivo externo.


Reyes-Sierra e Coello Coello(2005)• OMOPSO – Utiliza dois arquivos externos– Em um armazena a melhor posição da iteração atual.– Em outro as soluções não dominadas.– Metodologia eficiente de remoção de líderes,

quando o limite é ultrapassado.– Desempenho superior comparado com MOPSO,

NSGA-II e SPEA2.


Raquel e Naval (2005)• MOPSO-CD – crowding distance– Selecionar a melhor partícula global– Deletar soluções não dominadas do arquivo externo


Raquel e Naval (2005)• MOPSO-CD – Para cada solução não dominada é calculada CD– f1, f2, ...,fk – funções objetivos– AR – arquivo externo– As soluções não dominadas no AR com maior CD, são

definidas como líderes do enxame.– Resultados superiores quando comparado com MOPSO


Alvarez-Benitez et al. (2005)• Rounds, Random e Prob– Selecionar líderes do arquivo externo– Rounds – Determina como guia global a solução não

dominada, que domina um conjunto de soluções do enxame.

– Random – Seleciona probabilisticamente a solução não dominada que servirá como guia.

– Prob - Favorece a escolha da solução que domina um pequeno número de partículas.


Salazar Lechuga e Rowe (2005)• MOPSO-fs – A cada partícula, pi é atribuído um valor de fitness:

Distância definida pelo usuário

Distância entre as soluções não dominadas pi e pj.Os líderes são selecionados de acordo com seu

valor de fitness, através de roulette wheel selection


Salazar Lechuga e Rowe (2005)• MOPSO-fs – A cada partícula, pi é atribuído um valor de fitness:

Competitivo quando comparado com, MOPSO, NSGA-II e PAES.


Reyes-Sierra e Coello Coello (2006b)• Estudaram a adaptação online dos parâmetros do

MOPSO• w – peso inercial• c1 e c2 – coeficientes de aceleração• Ps – método de seleção probabilístico (dominance ou

crowding).• Valores elevados de w, Ps e c2 obtiveram melhores

resultados.• c1 – afeta regularmente o desempenho do algoritmo

Aplicações em otimização Constrained

• Definido no capítulo 1 (CO)

• capítulo 5– Aplicando funções de penalidades, isto é, penalidades são

adicionadas conforme as restrições vão sendo violadas.


Parsopoulos e Vrahatis (2002c)• PSO[co] – coeficiente de restrição• PSO[in] – peso inercial• Problemas TPCO-1 ao TPCO-6 (anexo A)

Problemas CO



Função original

penalidade

Fator de penalidade

Função multi-estágio

Max{0,Ci(x)}

Potencia da penalidade



• Conclusões– “O peso inercial produz soluções com soma de restrições menores do

que os coeficientes de restrição.”– Somente em dois casos esta conclusão pode ser observada.

Aplicações em otimização Minimax

• Problemas minimax:


Bandler & Charalambous (1974)• Pode ser abordado como problema CO

Pode ser reescrito implicitamente na forma minimax:

Para Cj ≤ 0 e aj muito grande.O ótimo do problema minimax, irá coincidir com o ótimo do problema CO.


• Algoritmos clássicos de otimização• Todas as funções são combinadas em uma única

função de penalidades.• Pode ser resolvido por gradiente.• Exponential penalty function ou aggregation

function.• Xu (2001) – propôs uma abordagem utilizando

programação quadrática e gradiente. – SQP –Sequential Quadratic Programming


Laskari et al. (2002)• Comparou o desempenho entre SQP, PSO[co] e PSO[in]

• TPMX-1 ao TPMX-6

Problemas minimax


Laskari et al. (2002)• Comparou o desempenho entre SQP, PSO[co] e PSO[in]

• TPMX-1 ao TPMX-6


Laskari et al. (2002)• PSO detectou o mínimo global é

praticamente todos os experimentos• PSO[co] superou PSO[in]

• SQP – resultados completamente imprevisível. Vai do melhor desempenho até a falha total.

• Demonstra dependência do tipo de problema e das condições iniciais.

• As funções de penalidade, muitas vezes viola as restrições implícitas dos problemas minimax. Prejudicando seu desempenho.

• PSO é uma alternativa promissora para a resolução de problemas minimax.

Conclusões

• Problemas multiobjetivo– Na abordagem com funções objetivo separadas,

para as três abordagens, mostrou-se no mínimo competitivo em comparação com outras técnicas.

– Na abordagem de pareto, os resultados não demonstraram superioridade, apenas que as técnicas tem bom potencial para a resolução dos problemas, mas ainda precisa mais estudos

Conclusões

• Problemas CO• Os resultados foram semelhantes quando

comparados com outras técnicas de PSO.• Eficiência na resolução deste tipo de

problema.

Conclusões

• Problemas minimax• Os resultados foram superiores quando

comparados com a técnica SQP.• Boa alternativa na resolução destes

problemas.

Referências

• Konstantinos E. parsopoulos & Michael N. Vrahatis – Particle Swarm Optimization and Intelligence

PSO – Aplicação em Problemas Multiobjective, Constrained e Minimax Carlos Carlim.

Documents

Transcript of PSO – Aplicação em Problemas Multiobjective, Constrained e Minimax Carlos Carlim.