VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto...
Transcript of VF - Unicamptiago/courses/otimizacao_nao_linear/Cap8... · VF Otimiza c ao Num erica Restrita M eto...
c� PAVF �
Otimiza�c�ao Num�erica Restrita
� M�etodos de dire�c�oes fact��veis
� M�etodos de proje�c�ao do gradiente
� M�etodos de penalidade e barreira
� M�etodos da lagrangeana aumentada
� Programa�c�ao quadr�atica seq�uencial
� M�etodos de planos de corte
� M�etodos duais
c� PAVF �
M�etodos de dire�c�oes fact��veis
Problema primal
minimizar f�x� s�a h�x� � �� g�x� � �
f � Rn � R� h � Rn � Rm� g � Rn � Rp
M�etodos primais
Trabalham com a formula�c�ao primal ��� do problema
Vantagens
� Algoritmos geram seq�u�encias de pontos fact��veis� fornecemsolu�c�oes sub��otimas quando interrompidos
� Pontos limites de seq�u�encias convergentes s�ao m��nimos locais restritos do problema
Desvantagens
� Obten�c�ao de pontos iniciais fact��veis dicultada pela eventual complexidade das restri�c�oes
� Necessidade de manter factibilidade ao longo do processo�Dire�c�oes fact��veis podem n�ao existir
c� PAVF �
M�etodos de dire�c�oes fact��veis
Algoritmo padr�ao
�� Encontre um ponto inicial x� fact��vel e fa�ca k � �
� Se xk satisfaz as condi�c�oes de otimalidade do problema�pare� Sen�ao� v�a para �
�� Determine uma dire�c�ao dk fact��vel em xk� isto �e� tal queexista �� � � e xk � �dk seja fact��vel p� todo � � � � ��
�� Determine o tamanho de passo �k� calcule xk�� � xk ��kd
k� fa�ca k �� k � � e volte para
Exemplo M�etodo de Zoutendijk
minimizar f�x� s�a aix� bi � �� i � �� �� � � � � p
onde ai � R��n� bi � R� Seja I�xk� �� fi � aixk � bi � �g�A dire�c�ao dk �e escolhida resolvendose o problema linear
minimizar rf�xk�Td
s�a aid � �� i � I�xk�nXi��
j di j � �
c� PAVF �
M�etodos de proje�c�ao do gradiente
M�etodo do gradiente projetado
Considere o problema
minimizar f�x� s�a aix � bi� i � �� �� � � � �m
Seja xk um ponto fact��vel na itera�c�ao k e dena
I�xk� � ��ndices das mk restri�c�oes ativas em xk
Ak � Rmk�n � linhas associadas aos ��ndices I�xk��por hip�otese� rank�Ak� � mk
dk � Rn � dire�c�ao tal que
Akdk � � �fact��vel�
rf�xk�Tdk � � �descida�
Dena ainda gk �� rf�xk�� Neste caso�
�gk � dk � ATk�
k
onde dk � N �Ak� e ATk �
k � R�ATk � para algum �k � Rmk �
Como Akdk � � e rank�Ak� � mk�
�k � ��AkATk ���Akg
k
c� PAVF �
M�etodos de proje�c�ao do gradiente
Gradiente projetado
dk � �I �ATk �AkA
Tk ���Akg
k � �Pkgk
onde Pk �e a matriz de proje�c�ao ortogonal em N �Ak�� Sedk � � �gradiente projetado�� ent�ao
gk �ATk �
k � �
e xk satisfaz condi�c�oes necess�arias� Se �ki � �� i � I�xk��ent�ao xk satisfaz as CKT do problema ��ki �� �� i �� I�xk��
Lema� Se dk � �Pkgk �� �� ent�ao dk �e uma dire�c�ao de
descida em x � xk
Prova� Como gk � dk �e ortogonal a dk�
�gk�Tdk � gk � dk � dkTdk � �kdkk� � �
�
Passo �k
Se dk �� �� dena �� �� maxf� � xk � �dk fact��velg�Obt�emse
�k �� arg min������
f�xk � �dk�
c� PAVF �
M�etodos de proje�c�ao do gradiente
Gradiente projetado
xk
�gk
dk
N �Ak �
R�ATk�
�Algoritmo�
x�x�
x�
x�
x�
�g��g�
�g�
�g�
�g�
d�
d��d�
c� PAVF �
M�etodos de proje�c�ao do gradiente
Adapta�c�ao do algoritmo
Se dk � � e �kj � � para algum j � I�xk�� dena �Ak
deletando de Ak a linha j correspondente� Ent�ao
��� � gk � ATk �
k
��� � gk � �dk � �ATk��k
onde �dk �e a proje�c�ao ortogonal de �gk usando �Ak
Note que
�� Se �dk � �� ent�ao � � seria equivalente a ��� com �kj � ��Como rank �Ak� � mk� concluise que �dk �� �
� Pelo Lema� �gk�T �dk � � e �dk �e uma dire�c�ao de descida�Como �Ak
�dk � �� de ��� vericase que
��gk�T �dk � ��k�TAk�dk � �kj �a
j�T �dk � �
�� Como �kj � �� concluise que �aj�T �dk � �� Logo� �dk
tamb�em �e uma dire�c�ao fact��vel
�� A restri�c�ao associada a �kj � � pode ser removida
c� PAVF �
M�etodos de proje�c�ao do gradiente
Algoritmo padr�ao
Encontre um ponto inicial x� fact��vel e fa�ca k � �
�� Determine I�xk� e a matriz Ak� mk � n
� Calcule Pk � I � ATk �AkA
Tk ���Ak e dk � �Pkg
k
�� Se dk �� �� obtenha
�� �� max f� � xk � �dk fact��velg
�k �� arg min������
f�xk � �dk�
fa�ca xk�� � xk � �kdk� k �� k � � e volte para �� Caso
contr�ario �dk � ��� calcule �k � ��AkATk ���Akg
k
�a� Seja �kj �� minf�ki � i � I�xk�g� Se �kj � �� pare� xk
satisfaz as condi�c�oes de KuhnTucker� Caso contr�ario�
�b� Dena Ak�� como Ak menos a linha associada a �kj �fa�ca k �� k � � e volte para
Notas
� As sucessivas matrizes Ak diferem apenas por uma linha e�Ak��A
Tk���
�� pode ser calculada a partir de �AkATk ���
� No caso geral� Ak ser�a composta por linhas correspondentesa restri�c�oes de igualdade e de desigualdade ativas
c� PAVF �
M�etodos de proje�c�ao do gradiente
Exemplo �Luenberger� pg� ����
minimizar x�� � x�� � x�� � x�� � �x� � �x�
s�a �x� � x� � x� � �x� �
x� � x� � �x� � x� � �
�xi � �� i � �� �� �� �
x� � ��� �� �� ��� A� �
������ � � �� � � �� � � ��
�����
MATLAB
n��� syms x� x� x� x��
f�x����x����x����x�����x���x��
g�diff�f�x� �diff�f�x� �diff�f�x� �diff�f�x� ��
x���� x���� x���� x���� g��eval�g �
A��� � � ��� � � ��� � � ����
d����eye�n �A��inv�A�A�� A� g��
p��A�d� � d� e� uma direcao factivel
p� � ���e���
������
������
�������
dd��g��d� � d� e� uma direcao de descida
dd� � �������
c� PAVF �
M�etodos de proje�c�ao do gradiente
Restri�c�oes n�ao�lineares
Projetase �gk no subespa�co tangente �as restri�c�oes ativas noponto xk
xk �gk
ykdk
xk��
g�xk� � �
M�xk�
Pk � I � J�xk�T J�xk�J�xk�T ��J�xk�
J�xk� � Jacobiana das restri�c�oes ativas
Notas
� A proje�c�ao de �gk emM�xk� gera uma dire�c�ao infact��vel�Obter xk�� tal que f�xk��� � f�xk� n�ao �e f�acil
� Converg�encia� an�aloga ao caso irrestrito� �M � �m s�ao osautovalores m�aximo e m��nimo de L�x�� restrita a M�x��
c� PAVF ��
M�etodos de proje�c�ao do gradiente
M�etodo do gradiente reduzido
Motivado por t�ecnicas de programa�c�ao linear� As restri�c�oeslineares se apresentam na forma padr�ao
minimizar f�x� s�a Ax � b� x � �
A � Rm�n� b � Rm� rank �A� � m
f � C�
Seja A �� B��� C� com B n�aosingular e x �� �y� z�� O
problema pode ser colocado como
minimizar f�y� z� s�a By � Cz � b� y � �� z � �
Notas
� Hip�oteses� todo conjunto de m colunas de A �e LI e todasolu�c�ao b�asica cont�em m vari�aveis positivas
� y � Rm � vetor de vari�aveis dependentes �vd��z � Rn�m � vetor de vari�aveis independentes �vi�
� Pequena varia�c�ao �z tq z ��z � � garante y��y � ��pois inicialmente y � �
c� PAVF ��
M�etodos de proje�c�ao do gradiente
Procedimento
�� Selecione �z e mova z na reta z � ��z� � � �� Nestecaso y movese na reta y � ��y� onde �y � �B��C�z
� Se uma vi tornase nula� uma nova dire�c�ao �z deve serdeterminada
�� Se uma vd tornase nula� a parti�c�ao �e modicada� a vdque assume valor nulo �e declarada vi e uma vi positiva �edeclarada vd
�� Trocas de vari�aveis efetuadas atrav�es de pivoteamento�Problema reformulado em termos de n�m vari�aveis �z�
Gradiente reduzido
O gradiente de f�B��b�B��Cz� z� em rela�c�ao a z �e
r � rzf�y� z�� �B��C�Tryf�y� z�
Um ponto �y� z� satisfaz as condi�c�oes necess�arias de primeiraordem sse �i � �� �� � � � � n�m�
��������ri � �� se zi � �
ri � �� se zi � �
c� PAVF ��
M�etodos de proje�c�ao do gradiente
C�alculo da dire�c�ao �z
Seja I�z� �� fi � zi � �g� A dire�c�ao de descida do m�etodo�e denida como
�zi ��
���������ri� se i �� I�z�
�� se i � I�z�
Notas
� Estrat�egia pura baseada na manuten�c�ao do conjunto ativo
� Se ri � � p� todo i �� I�z�� mas rj � � para algumj � I�z�� removese a restri�c�ao correspondente
� Estrat�egia melhorada�
Se i � I�z�� mas ri � �� n�ao haver�a viola�c�ao da factibilidade
Neste caso� podese denir �zi �� �ri
Dire�c�ao de descida�
�zi ��
���������ri� se ri � � ou zi � �
�� caso contr�ario
c� PAVF ��
M�etodos de proje�c�ao do gradiente
Algoritmo padr�ao
Encontre uma parti�c�ao inicial �y�� z�� tq B�y� � C�z
� �b� y� � �� z� � � e fa�ca k � �
�� Calcule rk � rzf�yk� zk�� �B��k Ck�
Tryf�yk� zk� e deter
mine
�zki �
���������rki � se rki � � ou zki � �
�� caso contr�ario
� Se �zk � �� pare� xk � �yk� zk� �e uma solu�c�ao do problema� Caso contr�ario� determine �yk � �B��k Ck�zk e fa�ca�xk �� ��yk��zk�
�� Determine ��� �� e �k atrav�es de
�� �� maxf� � yk � ��yk � �g
�� �� maxf� � zk � ��zk � �g� �� �� minf��� ��g
�k �� arg min������
f�xk � ��xk�
�� Calcule xk�� � xk � �k�xk� Se �k � ��� declare vi umavd que assumiu valor nulo� vd uma vi positiva e determineBk�� e Ck��� Fa�ca k �� k � � e volte para �
c� PAVF ��
M�etodos de proje�c�ao do gradiente
Exemplo �Luenberger� pg� ����
minimizar x�� � x�� � x�� � x�� � �x� � �x�s�a �x� � x� � x� � �x� �
x� � x� � �x� � x� � �xi � �� i � �� �� �� �
x� � ��� �� �� ��� y �� �x�� x��� z �� �x�� x��
MATLAB
B��� ��� ��� C��� ��� ��� b������
y��inv�B� b � Solucao basica �z������
y� � �
�
syms y� y� z� z��
f�y����y����z����z�����y���z��
dfdz�diff�f�z� �diff�f�z� ��
dfdy�diff�f�y� �diff�f�y� ��
r�dfdz��inv�B� C� �dfdy� � Gradiente reduzido
y���� y���� z���� z���� r��eval�r
r� � ��
��
Dz���r�� Dy���inv�B� C�Dz�� Dx��Dy��Dz��
Dx� � �
���
�
�
c� PAVF ��
M�etodos de proje�c�ao do gradiente
Restri�c�oes n�ao�lineares
Problemas id�enticos aos do m�etodo do gradiente projetado
x�
x�z�z�
z�
y
�x
�z
h�x� � �� x � �y� z�
Movimento tangente �a superf��cie� z � z ��z implica y �y ��y� onde �y � ��ryh�
��rzh�z
Converg�encia
An�aloga ao do gradiente projetado� com �M � �m representando os autovalores m�aximo e m��nimo de CTLC� onde L �� L�x��e
C ��
������ryh�y
�� z����rzh�y�� z��
In�m
�����
c� PAVF ��
M�etodos de penalidade e barreira
Filoso�a
Aproximar problemas restritos por problemas irrestritos
M�etodos de penalidade
Termo gerando alto custo no caso de viola�c�ao das restri�c�oes�e adicionado �a fun�c�ao objetivo� Ao problema restrito
minimizar f�x� s�a x � S Rn
associase o problema irrestrito
minimizar f�x� � cP �x�
onde c � � e P �e uma fun�c�ao cont��nua tal que
a P �x� � � para todo x � Rn e
b P �x� � � � x � S
Par�ametro c
Idealmente� quando c � �� as solu�c�oes dos problemas restrito e irrestrito se aproximam �P �x�� ��
c� PAVF ��
M�etodos de penalidade e barreira
Exemplo Considere S �� fx � Rn � g�x� � �g� Umaposs��vel fun�c�ao de penaliza�c�ao seria
P �x� ��pX
i��
�maxf�� gi�x�g��
Se p � �� g��x� � x� b� g��x� � a�x� obt�emse a situa�c�aoabaixo
xa b�
cP �x�
c � ��c � ��
c � ���c � ���
� Para c grande� o m��nimo do problema irrestrito est�a situadonuma regi�ao onde cP �x� �e pequeno
� Quando c � �� a solu�c�ao do problema irrestrito tendepara a solu�c�ao do problema restrito
� Procedimento� resolver uma seq�u�encia de problemas irrestritos com c��
c� PAVF ��
M�etodos de penalidade e barreira
M�etodo
Seja �ck� uma seq�u�encia tendendo ao innito tal que ck ��� ck�� � ck� Dena
q�c� x� �� f�x� � cP �x�
Para cada k� assumese que
minimizar q�ck� x�
possui uma solu�c�ao xk� A solu�c�ao xk�� �e obtida partindose doponto xk� A solu�c�ao do problema restrito �e obtida qdo ck ��
Teorema
a q�ck� xk� � q�ck��� x
k���
b P �xk� � P �xk���
c f�xk� � f�xk���
Teorema
Seja �xk� uma seq�u�encia gerada pelo m�etodo de penalidades�Ent�ao qualquer ponto limite da seq�u�encia �e uma solu�c�ao doproblema restrito
c� PAVF �
M�etodos de penalidade e barreira
Algoritmo Penalidade
Escolha � � �� c� � �� � � � e x�� Fa�ca k � �
while ckP �xk� � �
xk�� � argmin f�x� � ckP �x� �pto inicial xk�ck�� � �ckk �� k � �
endx� � xk
Notas
� Demonstrase que
limk��
ckP �xk� � �
� Exige apenas continuidade das fun�c�oes� mas efetivo apenasse algoritmos ecientes s�ao usados para gerar �xk�
� Se o problema incluir restri�c�oes de igualdade e desigualdade� podese usar por exemplo
P �x� �mXi��
hi�x�� �
pXi��
�maxf�� gi�x�g��
� O condicionamento do problema irrestrito piora a medidaque ck aumenta
c� PAVF ��
M�etodos de penalidade e barreira
Exemplo �Bazaraa et al�� pg� ����
minimizar x�� � x�� s�a x� � x� � � � �
Neste caso� q�x� c� �� x��� x��� c�x�� x�� ���� A hessianade q �e
Q�c� ��
�������� � c� �c
�c ��� � c�
�����
Os autovalores de Q s�ao �m � � e �M � ��� � �c�� On�umero de condi�c�ao �e r �� �M��m � � � �c e
r �� quando c��
x�
x�
x�
c� c�
c� � c��
�
�
c
�c� ��
c
�c� �
�
c� PAVF ��
M�etodos de penalidade e barreira
Penaliza�c�ao exata
No m�etodo de penalidades� um m��nimo local x� �e obtidoapenas qdo c��� Podese obter x� com c �nito se
P �x� ��mXi��
j hi�x� j �pX
j��
maxf�� gj�x�g
for utilizada
Teorema
Assuma que x� satisfaz as condi�c�oes sucientes de a� ordempara m��nimo local do problema restrito� Sejam � e � � osmultiplicadores associados� Se c � maxi�j fj �i j� jg� ent�aox� �e tamb�em um m��nimo local do problema irrestrito
Notas
� A fun�c�ao de penaliza�c�ao P �x� �e chamada de valor abso�luto ou tipo l�
� O uso de P �x� evitaria maiores problemas com o condicionamento do problema irrestrito
� Por outro lado� P �x� �e n�ao�diferenci�avel� o que complicaa resolu�c�ao do problema
c� PAVF ��
M�etodos de penalidade e barreira
M�etodos de barreira
Partem de pontos fact��veis e constr�oem barreiras na fronteira de S evitando que as seq�u�encias geradas saiam de S
Propriedades de S
�o
S �� � interior n�aovazio� Como pontos em S devemser atingidos a partir do interior� S deve ser um conjuntorobusto
robusto n�aorobusto
� Conjuntos robustos podem ser descritos por restri�c�oes dedesigualdade�
S �� fx � Rn � g�x� � �g
� Restri�c�oes de igualdade n�ao descrevem conjuntos robustos porque geram conjuntos com interior vazio
c� PAVF ��
M�etodos de penalidade e barreira
Fun�c�ao barreira
Uma fun�c�ao cont��nua B denida no interior de S �e umabarreira se a B�x� � � e b B�x��� quando x� S
Exemplo �Luenberger� pg� ����
Seja S �� fx � Rn � g�x� � �g um conjunto robusto e Ba fun�c�ao barreira
B�x� �� �pX
i��
�
gi�x�� x �
o
S
O caso p � �� g��x� � a � x e g��x� � x � b �e ilustradoabaixo
xa b�
�
cB�x�
c � �
c � �
Note que c � � e que�
cB�x��� qdo x� a ou x� b
c� PAVF ��
M�etodos de penalidade e barreira
M�etodo
Seja �ck� uma seq�u�encia tendendo ao innito tq ck � � eck�� � ck� Dena
r�c� x� �� f�x� ��
cB�x�
Para cada k resolva
minimizar r�ck� x� s�a x �o
S
obtendo xk� A solu�c�ao xk�� �e obtida partindose de xk� Asolu�c�ao do problema restrito �e obtida qdo ck ��
Teorema
Qualquer ponto limite da seq�u�encia �xk� gerada pelo m�etodode barreiras �e uma solu�c�ao do problema restrito
Notas
� Aparentemente� substituise um problema restrito por uma
seq�u�encia de problemas tamb�em restritos �x �o
S�
� A partir de x� �o
S� a fun�c�ao barreira mant�em a seq�u�encia
emo
S� A restri�c�ao x �o
S n�ao �e considerada explicitamente
c� PAVF ��
M�etodos de penalidade e barreira
Exemplo �FiaccoMcCormick� pg� ���
minimizar x� � x�
s�a g��x� � x�� � x� � �
g��x� � �x� � �
Barreira logaritmica
B�x� � �pX
i��
ln ��gi�x��� x �o
S
O m��nimo irrestrito de
r�c� x� � x� � x� � ���c� ln ��x�� � x��� ���c� ln �x��
�e
x��c� � ��� �q� � ��c���
x��c� � ��� �q� � ��c����� � ��c
e quando c��� �x��c�� x��c��� ��� �� �m��nimo restrito�
c x��c� x��c�
����� ����� �� �� ���� ����� ���������� ����� �� ������� ����� ���������� ����� �����
c� PAVF ��
M�etodos de penalidade e barreira
Interpreta�c�ao
�
��� x�
x�
x� � x� � �
�
Notas
� Uma seq�u�encia interior a S tamb�em seria obtida por umm�etodo tipo gradiente �otimo
� Por hip�otese� gi�x�� � � para todo i �x� �
o
S�� Logo�r�c�� x�� existe e possui algum valor nito
� O m�etodo do gradiente �otimo aplicado a r�c�� x� gera umaseq�u�encia �xk� tal que r�c�� x�� � r�c�� x�� � r�c�� x��
� r�� �a medida que se caminha em dire�c�ao �a fronteira apartir de qualquer ponto interior
� A fronteira n�ao pode ser alcan�cada atrav�es da seq�u�enciagerada� O m��nimo de r�c� x� ser�a sempre um ponto interior
c� PAVF ��
M�etodos de penalidade e barreira
Algoritmo Barreira
Escolha � � �� c� � �� � � � e x� �o
S� Fa�ca k � �
while ���ck�B�xk� � �xk�� � argmin
x�o
Sf�x� � ���ck�B�x�
ck�� � �ckk �� k � �
endx� � xk
Notas
� Demonstrase que
limk��
���ck�B�xk� � �
� Como nos m�etodos de penalidade� o condicionamento doproblema irrestrito piora �a medida que c��
� Os m�etodos de barreira tamb�em s�ao conhecidos como m�e�todos de pontos interiores
� Algoritmos de pontos interiores para programa�c�ao linear�como o proposto por Karmakar� est�ao intrinsecamente relacionados aos m�etodos de barreira
c� PAVF ��
M�etodos da lagrangeana aumentada
Motiva�c�ao
� Similar aos dos m�etodos de penalidade� resolver problemasrestritos atrav�es de uma seq�u�encia de problemas irrestritos
� Buscase evitar mal condicionamento mantendo c � � nito� sem o uso de penalidade exata �n�aodiferenci�avel�
Condi�c�oes su�cientes �f� h � C��
Assuma que �x�� ��� satisfazem as condi�c�oes sucientes de a� ordem para m��nimo local estrito do problema
minimizar f�x� s�a h�x� � �
a� h�x�� � �
b� rl�x�� ��� � rf�x�� �rh�x��T�� � �
c� L�x�� � F �x�� �mXi��
��iHi�x�� denida positiva em
M�x�� � fy � Rn � rh�x��y � �g
A condi�c�aorl�x�� ��� � � n�ao signica que x� �e um m��nimoirrestrito da fun�c�ao lagrangeana l�x� ���
c� PAVF �
M�etodos da lagrangeana aumentada
Lagrangeana aumentada
lc�x� �� �� l�x� �� ��
�c h�x�Th�x�
� f�x� � �Th�x� ��
�c h�x�Th�x�� c � �
O gradiente de lc�x� ��� se anula no ponto x�� De fato�
rlc�x�� ��� � rl�x�� ��� � crh�x��Th�x�� � �
poisrl�x�� ��� � �� h�x�� � �
Notas
� Se Lc�x�� for denida positiva� ent�ao x� tamb�em ser�a um
m��nimo local estrito de lc�x� ���� A hessiana Lc�x
��� dadapor
Lc�x�� � L�x�� � crh�x��Trh�x��
�e uma combina�c�ao positiva de L�x��� denida positiva emM�x��� e rh�x��Th�x��� semidenida positiva
� A id�eia �e incrementar c � � de forma que Lc�x�� se torne
denida positiva e x� um m��nimo irrestrito de lc�x� ���
c� PAVF ��
M�etodos da lagrangeana aumentada
Interpreta�c�ao
A solu�c�ao �unica do problema
minimizar x� s�a x� � � �
�e x� � ��� �� � ��� Note que x� � �� n�ao �e m��nimo localde
l�x���� � x� � ��x� ��
mas ser�a de
lc�x���� � x� � ��x� �� �c
��x� ���
para todo c � c� � �
−3 −2.5 −2 −1.5 −1 −0.5 0 0.5 1−4
−3
−2
−1
0
1
2
x
f
l
lc� c � ��
Para c grande� o termo �c���h�x�Th�x� convexi�ca lc numavizinhan�ca do m��nimo local x�
c� PAVF ��
M�etodos da lagrangeana aumentada
Lema
Sejam A�B matrizes sim�etricas� Assuma B � � e A � � nosubespa�co Bx � �� Ent�ao existe um c� tal que A � cB � �para todo c � c�
Teorema
Assuma que as condi�c�oes sucientes de a� ordem param��nimo local s�ao satisfeitas em �x�� ���� Ent�ao existe um c�
tal que para todo c � c�� a lagrangeana aumentada lc�x� ���
possui um m��nimo local em x�
Notas
� As identica�c�oes A � L�x�� e B � rh�x��Trh�x�� levam�a prova do Teorema� cuja conclus�ao pode ser estendida �porcontinuidade� para uma vizinhan�ca de �x�� ���
� Para qualquer � pr�oximo a ��� a lagrangeana aumentadapossui um �unico m��nimo local x pr�oximo a x�� Existe umadepend�encia cont��nua x���
� Se h�x���� � �� ent�ao � � ��� pois x��� satisfaz ascondi�c�oes necess�arias do problema original� Determinar ��
equivale a resolver h�x���� � �
c� PAVF ��
M�etodos da lagrangeana aumentada
Notas �cont�
� A equa�c�ao h�x���� � � �e resolvida atrav�es do processoiterativo
�k�� � �k � c h�xk�
O processo converge linearmente numa vizinhan�ca de ��
Exemplo �Luenberger� pg� ����
minimizar �x�� � �x�x� � x�� � �x� s�a x� � �
� Lagrangeana aumentada�
lc�x�� x�� �� �� �x�� � �x�x� � x�� � �x� � �x� ��
�c x��
� M��nimo anal��tico�
x���� � ��� � ��
�� � c�� x���� �
�� � c� ��
�� � c�
� Processo iterativo� �h�x� � x��
�k�� � �k �c �� � �k�
�� � c��
�
� � c�k �
�c
� � c
e �k � �� �� ���� qualquer que seja c � � �� c�� �
c� PAVF ��
M�etodos da lagrangeana aumentada
Algoritmo �M�etodo dos multiplicadores�
Escolha � � �� c� � �� � � ��� ��� � � � e ��
Fa�ca v� � �� e k � �
while vk � �xk�� � argmin lck�x� �
k��k�� � �k � ck h�x
k���vk�� � max��i�m fj hi�xk��� jgif vk�� � � vk then
ck�� � �ckendk �� k � �
end
Notas
� O par�ametro c �e incrementado sempre que n�ao houver umadiminui�c�ao signicativa ��� na viola�c�ao das restri�c�oes
� Restri�c�oes de desigualdade Restri�c�oes do tipo g�x� �� podem ser escritas na forma
gi�x� � z�i � �� i � �� �� � � � � p
Devese entretanto assumir complementariedade estrita� isto �e� �j � � se gj�x
�� � �� al�em das condi�c�oes sucientesde a� ordem aplic�aveis ao caso
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Motiva�c�ao
Empregar m�etodos quasiNewton para resolver diretamenteas condi�c�oes de KuhnTucker do problema
Problema
minimizar f�x� s�a h�x� � �
f � Rn � R� f � C�
h � Rn � Rm� h � C�
Condi�c�oes necess�arias
Existe � � Rm tal que
rf�x� �rh�x�T� � �
h�x� � �� M�x� �� � �
Jacobiana rM
rM�x� �� �
�����
L�x� rh�x�T
rh�x� �
�����
rM�x�� ��� �e n�aosingular se �x�� ��� satisfaz as condi�c�oessucientes de a� ordem para m��nimo local estrito
c� PAVF ��
Programa�c�ao quadr�atica sequencial
M�etodo de Newton
Dado �xk� �k�� obt�emse �xk��� �k��� resolvendose
M�xk� �k� �rM�xk� �k�
�����x� xk
�� �k
����� � �
Denindo d �� x� xk� podese reescrever o sistema como
L�xk�d�rh�xk�T� � �rf�xk�
rh�xk�d � �h�xk�
Obt�emse �dk� �k��� e ent�ao xk�� �� xk � dk� Repetese oprocesso at�e que dk � �� isto �e�
rf�xk� �rh�xk�T�k�� � �
h�xk� � �
e �xk� �k��� satisfaz as condi�c�oes necess�arias de �a� ordem
Se inicializado pr�oximo de �x�� ���� o algoritmo gera solu�c�oes�unicas �xk� �k��� que convergem quadraticamente para �x�� ���
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Subproblema quadr�atico
Melhores solu�c�oes s�ao obtidas resolvendose uma seq�u�enciade subproblemas quadr�aticos�
QPk � minimizar�
�dTL�xk�d�rf�xk�Td� f�xk�
s�a h�xk� �rh�xk�Td � �
As condi�c�oes necess�arias do subproblema QPk s�ao
L�xk�d�rh�xk�T� � �rf�xk�
rh�xk�d � �h�xk�
Converg�encia
Se inicializada pr�oximo a �x�� ���� a resolu�c�ao seq�uencial deQPk�s converge quadraticamente para �x�� ���� pois cada QPk
equivale a uma itera�c�ao de Newton
Formula�c�ao equivalente
QPk � minimizar�
�dTL�xk�d�rl�xk�Td� l�xk�
s�a h�xk� �rh�xk�Td � �
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Interpreta�c�ao
� QPk� relativo ao ponto �xk� �k�� �e equivalente a minimizara aproxima�c�ao quadr�atica da fun�c�ao lagrangeana no planotangente �as restri�c�oes
� Como as condi�c�oes sucientes de a� ordem requeremL�x�� � � em M�x�� na solu�c�ao do problema restrito�garantese que QPk est�a bem denido pr�oximo �a solu�c�ao
Restri�c�oes de desigualdade
Se o problema envolver restri�c�oes de desigualdade� ent�ao QPk
�e reescrito como
QPk � minimizar�
�dTL�xk�d�rf�xk�Td� f�xk�
s�a h�xk� �rh�xk�Td � �
g�xk� �rg�xk�Td � �
onde
L�xk� �� F �xk� �mXi��
�kiHi�xk� �
pXj��
kjGj�xk�
Dado �xk� �k� k�� k � �� resolvese QPk para obter a solu�c�ao �dk� �k��� k���� k�� � �� Se dk � �� m� Caso contr�ario� fazse xk�� � xk�dk� k �� k�� e novo QPk �e resolvido
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Implementa�c�ao quasi�Newton
A id�eia �e substituir L�xk� pela aproxima�c�ao Bk gerada� porexemplo� pelo m�etodo BFGS�
Bk�� � Bk �qk�qk�T
�qk�Tpk�Bkp
k�pk�TBk
�pk�TBkpk
onde
pk �� xk�� � xk
qk �� rl�xk����rl�xk�
O algoritmo resultante converge superlinearmente se inicializado pr�oximo a uma solu�c�ao satisfazendo condi�c�oes sucientesde a� ordem
Fun�c�ao de m�erito
Uma fun�c�ao de m�erito �e necess�aria para garantir con�verg�encia global do algoritmo
��x� �� f�x� � c
�� mXi��
j hi�x� j �pX
j��
maxf�� gj�x�g
�� � c � �
� e f s�ao minimizadas simult�aneamente e dk �� � pode setornar uma dire�c�ao de descida para �
c� PAVF �
Programa�c�ao quadr�atica sequencial
Teorema
Dado xk� considere QPk com Bk � � no lugar de L�xk�� Se�dk� �k��� k���� d �� � resolve QPk e se c � maxi�j fj �
k��i j
� k��j g� ent�ao dk �e uma dire�c�ao de descida para � em xk
Algoritmo SQP
Escolha � � �� x� e B� � �� Resolva QP� com B� no lugar deL�x�� para obter d�� �� e � � �� Fa�ca k � �
while kdkk � �k �� k � ��dk� �k��� k��� � argmin ����� dTBk�x
k�d��rf�xk�Td� f�xk�
s�a h�xk� �rh�xk�Td � �g�xk� �rg�xk�Td � �
�k � argmin��� ��xk � �dk�
xk�� � xk � �kdk
pk � xk�� � xk
qk � rl�xk����rl�xk�
Bk�� � Bk �qk�qk�T
�qk�Tpk�Bkp
k�pk�TBk
�pk�TBkpk
end
Sob condi�c�oes apropriadas� converge para �x�� ��� �� satisfazendo as condi�c�oes de KuhnTucker do problema original
c� PAVF ��
Programa�c�ao quadr�atica sequencial
MATLAB �fmincon�
A fun�c�ao fmincon utiliza programa�c�ao quadr�atica seq�uen�cial para resolver problemas da forma
minimizar f�x�
s�a Ax � b� Aeqx � beq
c�x� � �� ceq�x� � �
lb � x � ub
x�fval� exitflag�output�lambda��fmincon�fun�x��
A�b�Aeq�Beq�lb�ub�nonlcon�options
Exemplo
minimizar �x� � x�
s�a x� � x� � �
x�� � x�� � �
function f�fex���x
f��x�� �x�� �
function c�ceq��rex���x
c�x�� ���x�� �����
ceq���
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Solu�c�ao
x��� ��� A�� ���� b���
options�optimset��LargeScale���off� �
x�fval�exit�out�lda��fmincon��fex����x��A�b���
�������rex����options
x � ������� �������
fval � �������
exit � �
out � iterations� �
funcCount� ��
stepsize� �������e���
algorithm� �medium�scale� SQP� Quasi�Newton�
line�search�
firstorderopt� �
cgiterations� �
lda � lower� �x� double�
upper� �x� double�
eqlin� �x� double�
eqnonlin� �x� double�
ineqlin� �
ineqnonlin� ������
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Exemplo �
Os gradientes da fun�c�ao e das restri�c�oes podem ser fornecidospelo usu�ario para maior precis�ao
minimizar ����x� � x���� � ��� x��
�
s�a x�� � x�� � ���
function f�G��fex���x
f�����x�� �x�� �� ������x�� ���
G������x�� �x�� �� x�� �����x�� �
����x�� �x�� �� ��
function c�ceq�Dc�Dceq��rex���x
c�x�� ���x�� �������
Dc��x�� ��x�� ��
ceq���
Dceq���
Solu�c�ao
x������ �����
options�optimset��LargeScale���off� �
options�optimset�options��GradObj���on��
�GradConstr���on� �
c� PAVF ��
Programa�c�ao quadr�atica sequencial
Solu�c�ao �cont�
x�fval�exit�out�lda��fmincon��fex����x�����
����������rex����options
x � ������ ������
fval � ������
exit � �
out � iterations� ��
funcCount� ��
stepsize� �
algorithm� �medium�scale� SQP� Quasi�Newton�
line�search�
firstorderopt� �
cgiterations� �
lda � lower� �x� double�
upper� �x� double�
eqlin� �x� double�
eqnonlin� �x� double�
ineqlin� �x� double�
ineqnonlin� ������
c� PAVF ��
M�etodos de planos de corte
Forma geral
minimizar cTx s�a x � S
c � Rn � vetor constanteS Rn � conjunto convexo fechado
Exemplo
Problemas do tipo
minimizar f�y� s�a y � R Rn
podem ser colocados como
minimizar r s�a f�y�� r � �� y � R
Denindose
x �� �r� y� � Rn��
S �� f�r� y� � Rn�� � f�y�� r � �� y � Rg
c �� ��� �� �� � � � � �� � Rn��
obt�emse o problema na forma geral
c� PAVF ��
M�etodos de planos de corte
Algoritmo padr�ao
Determine um politopo inicial P� tq S P� e fa�ca k � �
�� Minimize cTx em Pk obtendo xk � Pk� Se xk � S� pare�xk �e uma solu�c�ao �otima� Caso contr�ario� v�a para
� Encontre um hiperplano Hk separando xk de S� isto �e�encontre ak � Rn e bk � R tais que
S fx � �ak�Tx � bkg e xk � fx � �ak�Tx � bkg
Atualize Pk�� a partir de Pk incluindo fx � �ak�Tx � bkg�fa�ca k �� k � � e volte para �
Interpreta�c�ao
x�
x�
x�
H�
H�
S
�c
c� PAVF ��
M�etodos de planos de corte
Notas
� Algoritmos espec��cos diferem na maneira de determinar ohiperplano separadorHk e de obter um novo politopo Pk��
� A profundidade dos cortes �cuts� produzidos pelos Hk�snos politopos Pk�s governa a converg�encia de cada algoritmo
� Denir
Pk�� � Pk � fx � �ak�Tx � bkg
�e a melhor estrat�egia� mas agrega ao problema linear umn�umero crescente de restri�c�oes� Alguns algoritmos descartam restri�c�oes inativas no ponto corrente xk
Algoritmo de Kelley
Problema�
minimizar cTx s�a g�x� � �
onde x � Rn e gi � Rn � R� gi � C�� i � �� �� � � � � p s�aofun�c�oes convexas� Para quaisquer x� y � Rn
gi�x� � gi�y� �rgi�y�T �x� y�� i � �� �� � � � � p
c� PAVF ��
M�etodos de planos de corte
Algoritmo Kelley
Seja S �� fx � Rn � g�x� � �g e P� tal que a S P� eb cTx �e limitada em P�� Fa�ca k � �
while max��j�p fgj�xk�g � �
i � argmax��j�p fgj�xk�g
Pk�� � Pk � fx � gi�xk� �rgi�xk�T �x� xk� � �g
xk�� � argmin cTx s�a x � Pk��
k �� k � �endx� � xk
Notas
� Um novo semiespa�co �e gerado se rgi�xk� �� �� rgi�x
k� �� implicaria que xk minimiza gi com gi�x
k� � � e neste casoS � �
� O semiespa�co gerado cont�em S� uma vez que se g�x� � ��ent�ao
gi�xk� �rgi�x
k�T �x� xk� � gi�x� � �
O semiespa�co gerado n�ao cont�em xk� pois gi�xk� � �
c� PAVF ��
M�etodos de planos de corte
Teorema
Sejam gi � Rn � R� i � �� �� � � � � p fun�c�oes convexas dife
renci�aveis� Qquer ponto limite da seq�u�encia �xk� gerada peloalgoritmo de Kelley �e uma solu�c�ao do problema original
Notas
� Luenberger ������ apresenta o resultado preliminar de quese x� �e a solu�c�ao �otima� ent�ao
kxk � x�k� � c�k
para alguma constante c �converg�encia aritm�etica�
� Sugere que a converg�encia pode ser geom�etrica� mas comtaxa tendendo a � a medida que a dimens�ao do problemaaumenta
� Restri�c�oes inativas podem ser eliminadas para reduzir acomplexidade do problema� O efeito do descarte sobre ataxa de converg�encia n�ao �e conhecido
c� PAVF �
M�etodos duais
Problema dual
maximizar ��� s�a � � �
onde
��� � minx��
l�x� ��
� minx��
f�x� � �Tg�x�
Teorema
Suponha que � Rn �e compacto e que f� g�� g�� � � � � gp s�aocont��nuas em �� Se x� �e o �unico m��nimo de l�x� ��� em ��ent�ao r ���� � g�x��
Gradiente projetado
Uma dire�c�ao de subida baseada na proje�c�ao de r ��k� em� � f� � Rp � � � �g pode ser denida como� para i ��� �� � � � � p
dki ��
����������������
�i��k�� se �ki � �
max���
�i��k�
� se �ki � �
c� PAVF ��
M�etodos duais
Algoritmo Gradiente Dual
Escolha � � �� Determine �� � �� x� �� argminx��
l�x� ��� e d��
Fa�ca k � �
while kdkk � ��k � argmax������ ��k � �dk��k�� � �k � �kd
k
xk�� � argminx�� l�x� �k���
dk��i �
��������gi�x
k���� se �k��i � �
maxf�� gi�xk���g� se �k��i � �i � �� �� � � � � p
k �� k � �end�� � �k� x� � xk
Notas
� N�ao requer x� fact��vel primal �x� � �� apenas�� C�alculosde ��k� e r ��k� exigem minimiza�c�ao de l�x� �k� em �
� Em geral� a determina�c�ao de �k �e dk� demanda consider�avel esfor�co e exige um m�etodo de busca linear eciente
� O problema lagrangeano �e mais simples do que o problema primal� A eci�encia da maximiza�c�ao de em � est�aassociada �a eci�encia da minimiza�c�ao de l em �
c� PAVF ��
M�etodos duais
Lineariza�c�ao externa
Suponha que para cada �i� i � �� �� � � � � k� obt�emse
�i �� g�xi�
onde xi � argminx�� l�x� �i�
Aproxima�c�ao de �
k��� � min��i�k
ff�xi� � ��i�T�g
� ��� �� ��
��
��
��
��� k���
Note que ��i� � k��i� para i � �� �� � � � � k e que ��� �
k��� para todo � � �� k �e uma lineariza�c�ao externa deordem k para
c� PAVF ��
M�etodos duais
Aproxima�c�ao do dual
maximizar k��� s�a � � �
�e equivalente ao problema linear
maximizar �
s�a � � f�xi� � ��i�T�� i � �� �� � � � � k
� � �� � � R
Notas
� A solu�c�ao do problema aproximado gera �k��� que gera�k�� � g�xk���� xk�� � argminx�� l�x� �k���� � � �
� Sejam � e �k os valores �otimos dos problemas dual e aproximado� Ent�ao �k � � para todo k
� A solu�c�ao do problema aproximado converge para a solu�c�ao do dual quando �k � ��k� � �� para � � � pequeno
� O vetor �i � g�xi� � Rp �e um subgradiente de em �i�pois para todo � � ��
��� � ��i� � ��i�T ��� �i�
c� PAVF ��
M�etodos duais
Algoritmo Lineariza�c�ao Externa
Escolha � � �� Determine �� � �� x� �� argminx��
l�x� ����
�� � g�x��� Fa�ca �k � ��� k � �� e k � �
while �k � k � �
��k��� �k��� � argmax �s�a � � f�xi� � ��i�T�� i � �� �� � � � � k
� � �� � � R
xk�� � argminx�� l�x� �k����k�� � g�xk��� k�� � l�xk��� �k���k �� k � �
end�� � �k� x� � xk
Notas
� Como nos algoritmos de planos de corte� n�ao exige buscasunidimensionais nem c�alculos de dire�c�oes
� Exige a solu�c�ao de um problema linear com p�� vari�aveis�a cada itera�c�ao uma nova restri�c�ao �cut� �e incorporada
� Elimina�c�ao de restri�c�oes inativas evita que o problema linearcres�ca muito� mas o impacto da elimina�c�ao na taxa deconverg�encia do algoritmo n�ao �e conhecido
c� PAVF ��
FIM