Estratégias Evolucionárias(Evolution Strategies - ES)
Disciplina:Inteligência Artificial
UFPR: Departamento de Informática. Aula de Leila e Aurora. Data: 23/05/2005
Estratégias Evolucionárias (ES)
Ciclo básico de Computação Evolucionária.FONTE: TRADUÇÃO DE DIANATI, SONG e TREIBER (2002).
Geração atual
Nova geração
Pais selecionados Variação, Mutação
Seleção Substituição
ES: pertence à Computação Evolucionária
Estratégias Evolucionárias (ES)
Visão geral de ES
� Desenvolvida na Alemanha (1970’s)� Nomes relacionados: I. Rechenberg, H.-P. Schwefel� Normalmente aplicada à:
– otimização numérica
� Características atribuídas:– relativamente rápido– bom para otimização de valores reais
� Especialidade:– Auto-adaptação (self-adaptation) de parâmetros (mutação)
Estratégias Evolucionárias (ES)
Resumo de ES
Auto-adaptação de mutation step sizes
Especialidade:
Uniform randomSeleção de pais:
(µ,λ) ou (µ+λ)Seleção de sobreviventes (survivor):
Gaussian perturbationMutação:
Discreta ou intermediáriaRecombinação:
Vetores de valores reaisRepresentação:
Estratégias Evolucionárias (ES)
Tamanho da população (número de indivíduos)
Quando é “+” indica que � pais e �filhos concorrerão para a próxima geração. Serão selecionados os �
melhores indivíduos. Quando é “,”indica que somente entre os filhos
serão escolhidos � para a próxima geração
Número de filhos gerados por cada geração
ES : notação e seleção de survivor
Estratégias Evolucionárias (ES)
Exemplo introdutório
� Tarefa: minimizar f : Rn� R
� Algoritmo (1+1)-ES: “two-membered ES”utilizando:– Vetores de Rn diretamente como cromossomos– Tamanho da população igual a 1– Somente a mutação cria um descendente– Seleção do melhor entre o pai e o filho (greedy
selection)– Algoritmo no arquivo “algo11.pdf”
Estratégias Evolucionárias (ES)
Ilustração da distribuição normal
Estratégias Evolucionárias (ES)
Exemplo introdutório: mecanismo de mutação
� z valores são obtidos de uma distribuição normal N(ξ,σ)
– média ξ é ajustada para 0 – variação σ é chamada mutation step size
� σ sofre variação pela “1/5 success rule”:� essa regra reajusta o valor de σ a cada k iterações por
– σ = σ / c if ps > 1/5– σ = σ • c if ps < 1/5– σ = σ if ps = 1/5
� onde ps é a % de successful mutations, 0.8 ≤ c ≤ 1
Estratégias Evolucionárias (ES)
Outro exemplo histórico:o experimento do jet nozzle
Forma inicial
Forma final
Tarefa: otimizar a forma de um jet nozzleAproximação: mutações randômicas na forma + seleção
Estratégias Evolucionárias (ES)
Resumo de ES
Auto-adaptação de mutation step sizes
Especialidade:
Uniform randomSeleção de pais:
(µ,λ) ou (µ+λ)Seleção de sobreviventes (survivor):
Gaussian perturbationMutação:
Discreta ou intermediáriaRecombinação:
Vetores de valores reaisRepresentação:
Estratégias Evolucionárias (ES)
Representação
� Cromossomos consistem de 3 partes:– Variáveis: x1,…,xn
– Parâmetros de estratégia :� Mutation step sizes: σ1,…,σnσ
� Rotation angles: α1,…, αnα
� Nem todos os componentes estão sempre presentes
� Cromossomo: � x1,…,xn, σ1,…,σn ,α1,…, αk �
� onde k = n(n-1)/2 (nº. de pares i,j)
Estratégias Evolucionárias (ES)
Seleção de pais
� Pais são selecionados por uniform randomdistribution
� Assim: a seleção de pais no ES é imparcial –cada indivíduo tem a mesma probabilidade de ser selecionado
� Note que em ES “pai” significa um membro da população (em GA’s: significa um membro da população selecionado para sofrer variação)
Estratégias Evolucionárias (ES)
Geração de Indivíduo
Estratégias Evolucionárias (ES)
Recombinação
� Cria um descendente� Atua por variável / posição ou por
– Cálculo da média dos valores dos pais, ou por– Seleção de um dos valores dos pais
� De 2 ou mais pais:– Utiliza 2 pais selecionados para fazer um
descendente– Seleciona 2 pais para cada nova posição
Estratégias Evolucionárias (ES)
Nomes de recombinações
Global discrete
Local discrete
zi = xi ou yiescolhido randomicamente
Global intermediary
Local intermediaryzi = (xi + yi)/2
2 pais selecionados para cada i
2 pais fixos
Estratégias Evolucionárias (ES)
Resumo de ES
Auto-adaptação de mutation step sizes
Especialidade:
Uniform randomSeleção de pais:
(µ,λ) ou (µ+λ)Seleção de sobreviventes (survivor):
Gaussian perturbationMutação:
Discreta ou intermediáriaRecombinação:
Vetores de valores reaisRepresentação:
Estratégias Evolucionárias (ES)
Mutação
� Mecanismo principal: muda valores adicionando um valor randômico obtido de uma distribuição normal
� x’i = xi + N(0,σ)� Idéia principal:
– σ é parte do cromossomo � x1,…,xn, σ �
– σ é também mutado em σ’ (veja como mais adiante)
� Assim: mutation step size σ está co-evoluindo com a solução x
Estratégias Evolucionárias (ES)
Primeiro transforme σσσσ
� Efeito da mutação: � x, σ �� � x’, σ’ �� Ordem é importante:
– primeiro σ � σ’ (veja como mais adiante)– então x � x’ = x + N(0,σ’)
� Razão: novo � x’ ,σ’ � é avaliado 2 vezes– Primeira: x’ é bom se f(x’) é bom– Segunda: σ’ é bom se o x’ que criou é bom
� Isso não funciona em ordem inversa de mutação
Estratégias Evolucionárias (ES)
Caso 1 de mutação:Uncorrelated mutation com um σσσσ
� Cromossomos: � x1,…,xn, σ �
� σ’ = σ • exp(τ • N(0,1))� x’i = xi + σ’ • N(0,1)� Normalmente a “learning rate” τ ∝ 1/ n½
Estratégias Evolucionárias (ES)
Mutantes com probabilidade igual
Círculo: mutantes tem a mesma chance de ser criado
Estratégias Evolucionárias (ES)
Caso 2 de mutação:Uncorrelated mutation com n σσσσ’s
� Cromossomos: � x1,…,xn, σ1,…, σn �
� σ’i = σi • exp(τ’ • N(0,1) + τ • Ni (0,1))� x’i = xi + σ’i • Ni (0,1)� 2 parâmetros de learning rate:
– τ’– τ
� τ ∝ 1/(2 n)½ e τ ∝ 1/(2 n½) ½
Estratégias Evolucionárias (ES)
Mutantes com probabilidade igual
Ellipse
Estratégias Evolucionárias (ES)
Caso 3 de mutação:Correlated mutations
� Cromossomos: � x1,…,xn, σ1,…, σn ,α1,…, αk �
� onde k = n • (n-1)/2 � e a covariance matrix C é definida como:
– cii = σi2
– cij = 0 se i e j não são correlated
– cij = ½ • ( σi2 - σj
2 ) • tan(2 αij) se i e j são correlated
Estratégias Evolucionárias (ES)
Correlated mutations cont.
O mecanismo de mutação é, então:� σ’i = σi • exp(τ’ • N(0,1) + τ • Ni (0,1))� α’j = αj + β • N (0,1)
� x ’ = x + N(0,C’)– x representa o vetor � x1,…,xn �
– C’ é a covariance matrix C após mutação sobre os valores α
� τ ∝ 1/(2 n)½ e τ ∝ 1/(2 n½) ½ e β ≈ 5°
Estratégias Evolucionárias (ES)
Mutantes com probabilidade igual
Estratégias Evolucionárias (ES)
Resumo de ES
Auto-adaptação de mutation step sizes
Especialidade:
Uniform randomSeleção de pais:
(µ,λ) ou (µ+λ)Seleção de sobreviventes (survivor):
Gaussian perturbationMutação:
Discreta ou intermediáriaRecombinação:
Vetores de valores reaisRepresentação:
Estratégias Evolucionárias (ES)
Seleção de sobreviventes
� Somente no conjunto de descendentes :– seleção (µ,λ)
� No conjunto de pais e descendentes (elitist strategy): – seleção (µ+λ)
Estratégias Evolucionárias (ES)
Self-adaptative ES
� É capaz de
– Perseguir o ótimo– ajustar o mutation step size a cada troca !
Estratégias Evolucionárias (ES)
Dúvidas???
Adaptado do curso: Introduction to Evolutionary Computing by A.E. Eiben and J.E. Smith. Assunto: Evolution Strategies
Obtido em: www.cs.vu.nl/~gusz/ecbook/ slides/Evolution_strategies.ppt. Data de acesso: 20/05/05.
Estratégias Evolucionárias (ES)
Aplicação de exemplo: a experiência de cherry brandy
� Tarefa de criar uma mistura de cores que produza uma cor objetivo (o bem conhecido cherry brandy)
� Ingredientes: água + tinta vermelha, amarela, azul� Representação: � w, r, y ,b � no self-adaptation!� Valores para fornecer um volume total pré-definido(30
ml) � Mutação: lo / med / hi σ valores com igual chances� Seleção: estratégia (1,8) � Fitness: compara mistura com cor objetivo� Critério de término: a cor foi encontrada
Top Related