Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf ·...

20
Panorama do Conte´ udo opicos Especiais em Pesquisa Operacional 1o. semestre 2018 Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 1 / 20

Transcript of Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf ·...

Page 1: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Panorama do Conteudo

Topicos Especiais em Pesquisa Operacional

1o. semestre 2018

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 1 / 20

Page 2: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

1 Parte 1: Otimizacao Sem DerivadasConjuntos simpleticosBusca em PadroesBusca linear e derivadas simpleticasInterpolacao polinomial e posicionamento de pontosRegioes de confianca e modelos para OSD

2 Parte 2: Otimizacao GlobalOtimizacao quadraticaTunelamentoBusca tabuRecozimento simuladoColonia de formigasBusca Gulosa, Aleatoria e AdaptativaAlgoritmos geneticosEnxame de PartıculasBusca Harmonica

3 Roteiro para as apresentacoes orais

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 2 / 20

Page 3: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 1: Otimizacao Sem Derivadas

Parte 1: Otimizacao Sem Derivadas

Otimizacaosem derivadas

6= Otimizacaonao suave

Existem derivadas em todos os pontos, mas sao impossıveis deserem calculadas

Funcoes provenientes de experimentosCaixas-pretas

Derivadas nao confiaveis (ruıdo)

-2 -1 1 2

1

2

3

4

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 3 / 20

Page 4: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 1: Otimizacao Sem Derivadas Conjuntos simpleticos

Metodo de Nelder-Mead

J. A. Nelder & R. Mead (1965) A simplex method for function minimization26655 citacoes (Google Academico 17/fev/2018)

https://upload.wikimedia.org/wikipedia/commons/e/e4/Nelder-Mead_Rosenbrock.gif

https://upload.wikimedia.org/wikipedia/commons/d/de/Nelder-Mead_Himmelblau.gif

https://upload.wikimedia.org/wikipedia/commons/3/33/Nelder-Mead_Simionescu.gif

fminsearch http://www.mathworks.com/help/optim/ug/fminsearch.html

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 4 / 20

Page 5: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 1: Otimizacao Sem Derivadas Busca em Padroes

Pattern Search

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 5 / 20

Page 6: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 1: Otimizacao Sem Derivadas Busca linear e derivadas simpleticas

Simplex em Rn: casco convexo de n + 1 pontos x1, x2, . . . , xn+1 i.e.

S =

{y ∈ Rn | y =

n+1∑i=1

αixi , αi ∈ [0,1],n+1∑i=1

αi = 1

}

Pontos x1, x2, . . . , xn+1: vertices de S

Matriz de direcoes simpleticasV (S) = [x2 − x1, x3 − x1, . . . , xn+1 − x1] ∈ Rn×n

Vetor de diferencas funcionaisδ(f : S) = [f (x2)− f (x1), f (x3)− f (x1), . . . , f (xn+1)− f (x1)]T ∈ Rn

Gradiente simpleticoD(f : S) = V (S)−T δ(f : S)

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 6 / 20

Page 7: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 1: Otimizacao Sem Derivadas Interpolacao polinomial e posicionamento de pontos

Taylor e modelo quadratico para OSD

f (x) ≈ f (x) +∇f (x)T (x − x) + 12(x − x)T∇2f (x)(x − x)

m(x) = c + gT (x − x) + 12(x − x)T H(x − x),

Conjunto amostral: Y = {y1, y2, . . . , yp}

Base ordenada: Φ = {φ1(x), φ2(x), . . . , φq(x)}

m(x) =

q∑j=1

αjφj (x), SL: M(Φ,Y)α = f (Y)

Se p = q, posicionamento⇔ nao singularidade de M(Φ,Y)

Polinomios de Lagrange

`j (y i ) = δij =

{1, se i = j0, se i 6= j , para i , j = 1, . . . ,q

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 7 / 20

Page 8: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 1: Otimizacao Sem Derivadas Regioes de confianca e modelos para OSD

0 1 2 3 4-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

0 1 2 3 4-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

-2 -1 0 1 2

-1

0

1

2

3

-2 -1 0 1 2

-1

0

1

2

3

-2 -1 0 1 2

-1

0

1

2

3

-2 -1 0 1 2

-1

0

1

2

3

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 8 / 20

Page 9: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global

Parte 2: Otimizacao Global

Pontos estacionarios × minimizadores globais

Estrategias determinısticas × aleatoriedade

Algoritmo ideal: capaz de produzir soluces de boa qualidade,em todos os casos, e em tempo aceitavel

Heurıstica: rapidez > qualidade ou qualidade > rapidez

para um determinado problema, mas sem garantia para outros

Metaheurısticas: estrategias gerais para guiar e controlarheurısticas especıficas para resolver o problema de interesse

NMinimize http://reference.wolfram.com/language/ref/NMinimize.html

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 9 / 20

Page 10: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Otimizacao quadratica

Assinalamento quadratico: min xT Sxs.a x ∈ D , S ∈ Rn2×n2 ,

D =

xij ∈ {0, 1} :n∑

i=1

xij = 1 (j = 1, . . . , n) en∑

j=1

xij = 1 (i = 1, . . . , n)

Problema combinatorio fundamental - caixeiro viajante, entre outros

Localizacao de instalacoes; microeletronica; design de chips

Clique maximo (programacao quadratica indefinida)Grafo G = G(V ,E), vertices V e arestas E

Matriz AG = (aij)n×n definida por aij =

{1, se(i , j) ∈ E0, se(i , j) 6∈ E

min 12xT AGx

s.a x ∈ C , C =

{x ∈ Rn :

n∑i=1

xi = 1, xi ≥ 0(i = 1, . . . , n)

}

Redes sociais; bioinformatica; quımica computacional

Problemas NP-completos: nao podem ser resolvidos em tempo polinomial

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 10 / 20

Page 11: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Tunelamento

Tunneling

Estrategia determinısticaFuncao de tunelamento, para escapar de solucoes locaisSucessivas minimizacoes locais usuais

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 11 / 20

Page 12: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Busca tabu

Tabu search

A Busca Tabu mantem uma lista de solucoes candidatas visitadasrecentemente (Lista Tabu) e se recusa a revisitar estascandidatas por um ciclo pre-determinado de iteracoes.

Quando um otimo e encontrado, forca-se uma busca para umponto distante do corrente, pois nao e permitida a permanenciaou retorno para esse otimo. Isto faz com que uma regiao maisabrangente do espaco de solucoes seja visitada.

Tres nocoes principais caracterizam essa metaheurıstica:

espaco de buscavizinhancatabu

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 12 / 20

Page 13: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Recozimento simulado

Simulated annealing

Analogia com processo termodinamico:• Aumento (brusco) da temperatura:

aumento da energia, movimentacao livre• Reducao (lenta) da temperatura:

estado de equilıbrio, com energia mınima

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 13 / 20

Page 14: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Colonia de formigas

Ant colony optimization (ACO)

https://commons.wikimedia.org/wiki/File:Safari_ants.jpg http://www.nightlab.ch/antsim.php

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 14 / 20

Page 15: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Busca Gulosa, Aleatoria e Adaptativa

GRASP

Greedy Randomized Adaptive Search Procedures

Processo iterativo com duas fases:

Construcao adaptativa e randomica de solucao viavelBusca Local (refinamento, p.ex. via downhill climbing e variacoes)

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 15 / 20

Page 16: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Algoritmos geneticos

Genetic Algorithms

Inspirado no processo evolucionario:

populacao inicialreproducao e novos indivıduos(combinacao e permutacao de genes)variabilidade adicionalbaseada em crossover (recombinacoes) e mutacoes

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 16 / 20

Page 17: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Enxame de Partıculas

Particle Swarm

https://upload.wikimedia.org/wikipedia/commons/e/ec/ParticleSwarmArrowsAnimation.gif

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 17 / 20

Page 18: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Parte 2: Otimizacao Global Busca Harmonica

Harmony Search

Otimizacao & composicao musical:

Instrumento⇔ variaveis de decisaoNotas musicais⇔ valores das variaveisHarmonia⇔ vetor solucao

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 18 / 20

Page 19: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Roteiro para as apresentacoes orais

Roteiro para as apresentacoes orais

Autores proponentes (referencias originais) ereferencias adicionais

Contextualizacao e hipoteses

Ideias basicas e algoritmo

Vantagens e Desvantagens

Exemplos

Algo mais: descricao de uma aplicacao interessante;implementacao propria, com resultados computacionais, etc.

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 19 / 20

Page 20: Panorama do Conteudo´ - Unicamp › ~sandra › MS915 › handouts › Aula02_28fev.pdf · Tunelamento Busca tabu Recozimento simulado Colonia de formigasˆ Busca Gulosa, Aleatoria

Roteiro para as apresentacoes orais

Atividade da aula

Com base no panorama apresentado:

elenque tres temas que chamaram a sua atencao;

comente sobre as suas escolhas;

aponte aquele(s) com o(s) qual(is) gostaria de trabalhar.

Profa. Sandra A. Santos Aula 2 (28/02/2018) MS915 20 / 20