I · Ao Prof. João Lizardo Rochigues Hermes de Araújo pelo ... derivadas de qualquer ordem em...

PENALIZAÇ&O HIPERBOLICA

Adilson Elias Xavier

TESE SUBMETIDA AO CORPO DOCENTE DA COORDENAÇ&O DOS PROGRAMAS DE

JANEIRO COMO PARTE DOS REQUISITOS NECESSARIOS PARA A OBTENÇ&O DO

GRAU QE DOUTOR EM CIÊNCIAS EM ENGENHARIA DE SISTEMAS E

COMPUTAÇBO.

Aprovada por:

4-- -------I dos& Mario Marti-

Faulo Roberto Oliveira

J Antonio Alberto Fernandes de Oliveira

RIO DE JANEIRO, RJ - BRflSIL

Maio de 1992

XAVIER, ADILSON ELIAS

Penalização Hiperbólica

XII, 173 11. 29,7 cm (COPPE/UFRJ), D.Sc., Engenharia de Sistemas e

Computação.

Tese - Universidade Federal do Rio de Janeiro. Faculdade de Engenharia

1. Otiinização, Programação Não-Linear, Métodos das Penalidades,

Métodos Lagiangeanos

I. COPPE/UFRJ

11. Título (Série)

iii

A minha esposa

Solange

e a meus filhos

Leandro,

Leonardo e

Vinicius.

AGRADECIMENTOS

Ao Prof. Nelson Maculan Filho pelas inúmeras discussões e pela riqueza e

abrangência de orientação.

Ao Prof. João Lizardo Rochigues Hermes de Araújo pelo incentivo a resgatar a

pesquisa da Penalização Hiperbólica.

Ao Prof. Paulo Canedo de Magalhães pela confiança, pelo debate científico

permanente e pela oportunidade de poder usar os algoritmos de Penalização

Hiperbólica em aplicações hiperbólicas de grande porte.

Ao Prof. Clóvis Gonzaga pelas conversas descoinl>roinissadas das quais pude

tirar importantes ensinamentos teóricos.

Ao Prof. Paulo Roberto Oliveira pelos alertas oportunos e pela discussão

quotidiana.

A Daisy Lima Pierucci pela digitação esmerada, expedita e prestigiosa.

A Fernanda Rocha Tliomaz, Maria Helena Alves e Mário de Castro Andrade

Filho pelo cuidado e generosidade com que fizeram os desenhos.

Ao Eduardo dos Santos Pereira (Edu) pela viabilização do suporte financeiro

vit a1 à consecução desse trabalho.

Aos iiiúmeros colegas, dentre os quais nomeamos: Luis Amorim Carlos, Bryan

Ricliard Hall, Daniel Casalis, Ricardo Duarte Arantes e Oswaldo Alves de Souza pela

interação permanente, componente essencial da vida universitária.

Aos alunos do Laboratório de Hidiologia Otto Correa Rottuno Filho, Luciene

Pimentel da Silva, Mário de Castro Andrade Filho e Fernanda Rocha Thomaz que,

através de um uso extensivo além de permitirem uma validação segura do algoritmo

original, aduziram importantes elementos ao processo de desenvolvimento dos novos

algori t mos.

Aos Prof. Ana Regina Cavancanti de Souza e Jano Moreira de Souza pelo

apoio logístico e pelo incentivo.

Finalmente, aos meus filhos e à Solange pelo estoicisino.

Resumo da tese apresentada à COPPE/UFRJ como parte dos requisitos necessários

para a obtenção do grau de Doutor em Ciência (D.Sc.)


Maio de 1992

Orient ador : Nelson Maculan Filho

Programa: Programa de Engenharia de Sistemas e Computação

O método da Penalização Hiperbólica tem por objetivo a resolução do

problema geral de programação não-linear sujeito a rest rições de desigualdade. O

método trabalha com uma f~inção penalidade diferente das encontradas na literatura

que apresenta a singular característica de possuir perfeita continuidade em suas

derivadas de qualquer ordem em todo domínio dos reais, ou seja, é de classe Cw em

todo domínio real.

O método combina características tanto dos métodos do tipo penalização

exterior como do tipo penalização interior: para o conjunto de restrições violadas essa

função penalidade hiperbólica fuilciona siinilarmente à penalização exterior enquanto

para as restrições obedecidas funciona como penalização interior.

O presente trabalho apresenta o método na sua forinulação estrit ainente de

penalidade (XAVIER (1982a)). Ademais explora as ligações entre a função da

penalização hiperbólica e a função lagrangeana. E desenvolvida uma teoria de ponto

de sela que associa ao ponto ótimo do problema não-liiiear sujeito a restrições de

desigualdade um ponto de sela da função lagrangeana hiperbólica. E desenvolvida

vii

urna teoria de dualidade correspondente.

Baseado nesses resultados teóricos, é apresentado um novo método de

multiplicadores denominado Lagrangeano Hiperbólico que desfruta da mais completa

diferenciabilidade. O desempenho computacional do método é ilustrado na resolução

de um problema de grande porte conhecido na liteiatua.

Abstract of thesis presented to COPPE/UFRJ as partia1 fulfillment of the

requirements for the degree of Doctor of Science (D.Sc.)

HYPERBOLXC PENALTY


May, 1992

Chairman: Nelson Maculan Filho

Departmeiit : Departineiit of Systems Engineering and Computei Sciences

The liyperbolic penalty lias tlie purpose of solving tlie general nonlinear

prograrnming problem subject to iiiequality constraints. The method uses a function

that differs from the penalty functions found in the literature. It has the singular

characteristic of possessing contiiiuous derivatives of aiiy order in tlie whole real

domain.

The method combines features of both exterior and interior penalty methods:

with reference to violated coiistraints tlie hyperbolic function beliaves as an exterior

penalty, while it works as an interior penalty in relation to satisfied constraints.

This work introduces tlie inetliod witliiii tlie strict penalty framework.

Furthermore it studies tlie coniiections betweeii tlie hyperbolic penalty function and

the Lagrangean function. The tlieoretical basis for a new multiplier method are

developed: this method, besides beiiefiting from tlie complete differentiability in the

wliole space, does not suffer from a necessary ill-conditioning of the Hessian

Matrices.

The computational performailce of the new method is exhibited in front of a

large scale problem.

Espaço Euclidiano n dimensional

Dimensão do espaço Euclidiano

Variável no espaço R11

Função objetivo

Vetor restrições de desigualdade

Restrição de desigualdade específica

fndice especificando restrição de desigualdade

Número de restrições de desigualdade

Vetor rest rições de igualdade

Restrição de igualdade específica

fndice especificando restrição de igualdade

Número de restrições de igualdade

Região viável

Ponto ótimo do problema de programação

Número de restrições de desigualdade ativas no ponto x*

Função objetivo modificada

Função objetivo modificada

Função penalidade hiperbólica

Função penalidade hiperbólica

Parâmetro da função penalidade liiperbólica (ângulo)

Parâmetio da função penalidade liiperbólica (distância)

Mult iplicador de Lagrange

Semi-eixo maior de hipérbole

Semi-eixo menor de hipérbole

Iteração

Ponto ótimo da função objetivo modificada na iteração k

V Gradiente

p # Referência a propriedade da função penalidade (# representa o

níimero de propriedade)

c # Referência a condição exigida do problema (# representa o número da

condição)

rnin Minimizar

max Maximizar

xii

LNDICE

CAPÍTULO VI - LAGRANGEANO HIPERBÓLICO

BIBLIOGRAFIA

ANEXO 1

ANEXO 2

Pág .

1

5

14

O objeto de consideração do presente trabalho é o problema geral de

programação não linear:

Consideraremos em particular o problema de programação não linear sujeito a

restrições de desigualdades:

min f(x)

s.a. g i ( x ) > O , i = l ,..., m

Com o objetivo de obter a solução do problema (1.2) apresentamos o método

de penalização hiperbólica originalmente descrito em XAVIER (1982a) e

posteriormente estendido em outros trabalhos XAVIER (l982b), XAVIER e

MACULAN (1984) e XAVIER (1986). Demonstraremos, outrossim, idéias mais

recentes que estabelecem uma ponte de ligação entre o método de penalização

hiperbólica e a função lagrangeana. Esse enfoque foi inicialmente apresentado em

XAVIER (lggl), sendo que agora novos resultados são acrescentados.

A apresentação do trabalho obedece à seguinte seqüência.

No Capítulo 11, é feita uma revisão bibliográfica dos métodos das penalidades.

É relatada a idbia geométrica sob a qual foi inspirada a função penalidade hiperbólica.

Finalmente, são descritas sucintamente as características da penalidade hiperbólica.

No Capítulo 111, é feita a descrição formal da função penalidade hiperbólica e

de suas características. É apresentado o algoritino de penalização liiperbólica na sua

formulação original (Algoritmo A l ) estritamente dentro de um enfoque característico

dos métodos das penalidades. É descrita a analogia geométrica que idealiza o seu

funcionamento. São especificadas as condições que o problema deve obedecer. São

estabelecidos uma série de resultados teóricos (Existência de Mínimo, Existência de

Mínimo Viável e Convergência) que levam à convergência do algoritmo. É mostrado

que à medida que o problema é resolvido, através de uma seqüência de minirnizações

irrestritas, é paralelamente gerada uma seqüência de valores que convergem para os

multiplicadores de Lagrange. É discutida a questão da taxa de convergência. É

apreseiit ado um exemplo comput aciona1 que ilustra sucintamente o funcionamento do

algoritmo. E, ademais, relatada a experiência computacional do algoritmo frente a um

conjunto de problemas difíceis da literatura. Finalmente, são discutidas as questões

da degenerescência da matriz hessiana e do uso de um inecaiiisino de extrapolação

para superar essas dificuldades.

No Capítulo IV, é apresentada a íntima ligação da função hiperbólica com a

função Lagrangeana, que permite um novo entendimento do método da penalização

hiperbólica já que o associa à família dos métodos dos inultiplicadores, também

conhecidos como métodos lagraiigeanos auinent ados.

No Capítulo V, é feita uma revisão bibliográfica dos métodos dos

multiplicadores.

No Capítulo VI, é feito o desenvolvimento de todo trabalho que apresenta o

método da peilalização hiperbólica dentro do enfoque dos métodos dos

multiplicadores. A esse eilfoque foi dada a denominação: Lagrangeano Hiperbólico.

Nesse capítulo, são apresentadas as novas condições que o problema deve

obedecer. É apresentada a fundamental propriedade, característica dos métodos dos

multiplicadores, estabelecendo que uma solução local do problema de programação

não linear se torna um ponto de inínirno da função lagraiigeana hiperbólica (função

penalidade hiperbólica). E feito o desenvolvimento de uma teoria de ponto de sela que

associa ao ponto ótimo do problema não linear sujeito a restrições de desigualdade um

ponto de sela da função lagrangeana hiperbólica. E desenvolvida a teoria de dualidade

correspondente. São apresentados a função dual, seu gradiente e sua matriz hessiana,

bem como, o problema dual. É deinoilstrado o fundamental teorema da dualidade

local que estabelece a equivalêiicia entre os problemas priinal e dual. Baseado nessa

propriedade é especificado um primeiro algoritmo Lagrangeaiio Hiperbólico

(Algoritmo A2) para o qual é demonstrada a convergência. É discutida a questão da

taxa de convergência. São apresentados os resultados computacionais obtidos na

resolução de um problema de grande porte considerado de elevado grau de

dificuldade.

A seguir, são analisadas as resoluções do problema linear e do problema

convexo. Os importailtes resultados teóricos obtidos permitem a especificação de um

novo algoritmo lagrangeailo (Algoritmo A3) particularmente adequado para o caso

em que seja feita a correta identificação do 'conjunto das restrições ativas.

Finalmente, é feita uma síntese de algoritmos que busca uma harmoniosa

articulação entre os algoritinos A1 e A3 de sorte a tomar partido das vantagens

específicas de ambos.

No Capítulo VII, é feita uma síntese dos principais resultados apresentados.

Assim, é feita uma avaliação global do método, onde são destacadas suas principais

características. Finalmente, são relacionadas novas linhas de estudo a serem

desenvolvidas, em particular, para explorar mais profundamente as ligações entre a

penalização hiperbólica e a função lagrangeana, que ora iniciamos.

CAPITULO 11

MÉTODOS DAS PENALIDADES

Dos métodos que tratam da resolução do problema (1.1) um bom número

pertence à família dos métodos das penalidades. Graças à propriedade de sua relativa

confiabilidade e, principalmente, da grande facilidade de sua programação, estes

métodos são uma ferramenta de uso corrente para a solução de problemas de

rninirnização com restrições.

A característica comum aos métodos das penalidades é a transformação do

problema de minimização com restrições no problema sem restrições

min F(x) = f (x) + P (x)

onde P(x), chamada função penalidade, incorpora convenientemente as restrições g(x)

e h(x).

A idéia intuitiva atrás de todos os métodos das penalidades é que a fiinção

penalidade possua o poder de aumentar fortemente os valores fora da região viável e

simultaneamente tenha a sua influência desprezível ou mesmo nula dentro desta

região, de modo tal que o ponto ótimo do problema modificado (11.1) esteja

aceitavelmente próximo do ponto ótimo do problema original.

A grande maioria dos métodos das penalidades obtém o ponto ótimo através

da solução de uma seqüência de problemas de ininimização obtida pela variação

controlada de um parâmetro externo, que faz com que se aumente gradativamente o

grau em que o problema sem restrições se aproxima do original. Atendidas certas

hipóteses, a correspondente seqüêiicia de pontos de mínimos converge para um ponto

viável do problema com restrições que satisfaz às condições de otimalidade.

Esses métodos, ditos paramétricos, são classificados, considerando-se

essencialmente as maneiras em que as funções penalidades são construídas, em dois

grandes e distintos grupos básicos: das penalidades exteriores e das penalidades

interiores.

Um histórico completo da evolução desses métodos é dada por FIACCO

McCORMICK (1968). Conforme citado nesta referência, bem como em AVRIEL

(1976), POLAK (1971) e LUENBERGER (1973) o trabalho pioneiro nos métodos das

penalidades exteriores foi proposto por COURANT (1943), enquanto no caso das

penalidades interiores os primeiros trabalhos são devidos a FRISH (1955) e CARROL

(1959). Entre os trabalhos posteriores destacamos basicamente os desenvolvidos por

três autores: FIACCO McCORMICH (1964, 1966, 1968)) ZANGWILL (1967) e

LOOSTMA (1967, 1968a) 1968b) 1968c, 1969, 1970, 1972). Embora representam um

pequeno subconjunto do que tem sido publicado, estes trabalhos contemplam as

principais questões inerentes aos rnétodos de penalidade paramétricos e constituem

referência obrigatória sobre o tema.

Nos métodos das penalidades exteriores as funções penalidades P(x)

prescrevem um alto custo para violações ' a restrições. A medida que o parâmetro

externo aumenta, a severidade desse efeito auinent a. Conseqüentemente se torna

progressivameilte mais e mais proibitivo se afastar da região viável. A Figura 11.1 dá

uma idéia visual deste mecanismo para o caso unidimensional.

8t Conjunto vldvel

m - a a w r r _ ~ ~ ~ ~ ~

Figura 11.1

Nestes métodos, a primeira solução viável é também ótima para o problema de

programação (1.1). Como quase nenhum problema surgido na prática tem seu mínimo

no interior da região viável, em geral a seqüência de pontos de mínimo sem restrições

vai gradativamente se aproximando da fronteira da região viável até atingi-la. Assim

os métodos das penalidades exteriores tem a marcante característica de seus pontos

seguirem uma trajetória de fora para dentro da região viável.

Nos métodos das penalidades interiores todo o processo se desenvolve

trabalhando-se exclusivamente com pontos viáveis. As funções penalidades tem a

característica de favorecer pontos interiores à região viável em relação àqueles da

fronteira, possuindo assim um poder de repulsão à fronteira. Por causa desta última

propriedade estes métodos são também .conliecidos como método das barreiras,

proporcionando um alto desestímulo à proximidade da fronteira. A medida que o

parâmetro externo aumenta, gradativamente diminui o custo de proximidade à

fronteira. A Figura 11.2 ilustra o funcionamento do método.

Na seqüência dos problemas sem restrições (II.l), em geral, a cada iteração o

ponto de mínimo vai gradativainente se aproximando da fronteira da região viável

até, no limite, atingi-la. Assim estes métodos tem a marcante característica de seus

pontos de mínimo seguirem uma trajetória de dentro para fora da região viável, sem

sairem dela.

Podemos ainda considerar os grupos dos métodos das penalidades mistas,

obtido pela combinação siinult ânea de duas técnicas acima apresentadas. Nestes

métodos, o conjunto das restrições é particionado em duas partes, sendo, então, uma

tratada por funções penalidades exteriores e a outra por penalidades interiores.

Um outro grupo de métodos é o dos métodos das penalidades livres de

parâmetros. Estes, da mesma forma que os anteriores, obtém o mínimo através da

solução de uma sequência de problemas de minimização sem restrições mas com a

característica de que os parâmetros são automaticamente dete~minados no desenrolar

do processo.

Como mostrado por LOOTSMA (1968a, 1968c, 1970, 1972), tanto os métodos

das penalidades interiores como os das penalidades exteriores podem ser modificados

de maneira a se transformar em métodos livres de parâmetros. Assim, por exemplo, o

muito conhecido método dos centros de HUARD (1967) é equivalente à programação

logarítinica (penalidade interior) proposta por FRISH (1955) e posteriormente

desenvolvida por LOOTSMA (1967). Entretanto, não apresentam qualquer vantagem

sobre os métodos anteriormente apresentados, pois a sua taxa de convergência é

muito baixa (LOOTSMA (1986~)).

Em todos os métodos até aqui referidos, a solução do problema foi obtida

através de uma sequência de problemas de ininiinização sem restrições. Existe um

outro grupo de métodos que tem a propriedade de obter esta solução através de uma

única minimização. São os chamados métodos das penalidades exatas.

Um dos primeiros destes métodos é devido a ZANGWILL (l967), usando uma

função penalidade exterior linear. Posteriormente Evails, Gould e Tolle (conforme

exposto em AVRIEL (1976)) desenvolveram uma teoria geral completa sobre

penalização exata para uma ampla classe de funções penalidades diferenciáveis por

partes. Entre as funções especificamente estudadas destaca-se uma função penalidade

exterior exponencial.

A aparente vantagem destes métodos desaparece quando consideramos que a

função penalidade não é diferenciável no ponto de ótimo. Conseqüentemente as

técnicas mais eficientes de minimização não podem ser utilizadas e a utilidade destes

métodos é, no mínimo, duvidosa.

Inicialmente, considerando problemas só com restrições de igualdade,

FLETCHER (1970) desenvolveu um elegante método para t ransformá-10s na

mirnimização de funções penalidades exatas diferenciáveis. O método trabalha com

uma função tipo lagrangeana em que os multiplicadores são calculados em cada ponto

x do espaço primal. O método se utiliza também de um parâmetro para proporcionar

convexidade à função objetivo. FLETCHER e LILL (1970) apresentam resultados

computacionais do método. Posteriormente, esse método foi estendido FLETCHER

(1973) para problemas com restrições de desigualdade. Entret ant o, as dificuldades

comput acionais desses métodos de FLETCHER (1 970, 1973) são agora bem maiores

já que para cada avaliação da função é necessário a solução de um problema

quadrático auxiliar (requerendo, portanto, a inversão de uma matriz a cada avaliação

da função). No Capítulo V voltaremos a considerar métodos de penalidade exata que

fazem uso de função lagrangeana.

Finalmente falta a referência aos métodos lagrangeanos. Neste grupo de

métodos, a solução do problema também é obtida via solução de uma seqüência de

rninimizações sem restrições. A função minimizada é igual à soma do lagrangeano

mais um termo que tem a finalidade de garantir que a função tenha um mínimo e não

um ponto estacionário qualquer. Os multiplicadores de Lagrange, a priori

desconhecidos, são atualizados após cada rniiiiinização. Os métodos de multiplicadores

de HESTENES (1969), de POWELL (1969) e de ROCKAFELLAR (1974) pertencem

a este grupo, que será tratado mais especificamente no Capítulo V.

O método de Penalização Hiperbólica que aqui desenvolveremos no Capítulo

111, a rigor, não pode ser classificado em qualquer dos grupos anteriormente referidos.

Entretanto tem características bastante comuns com os das penalidades exteriores, já

que trata pontos fora da região viável com uma ação idêntica a estes métodos. Da

mesma maneira, tem alguma semelhança aos métodos das penalidades interiores já

que a função penalidade usada possui um efeito de repulsão à fronteira, embora não

sendo propriamente uma barreira. De outro lado, estabelecida uma tolerância, é

possível obter uma boa aproximação para o mínimo em uma única iteração. Esta

propriedade de certa forma o aproxima dos métodos das penalidades exatas. Ademais,

como já ficará evidenciado no Capítulo VI, as fortes ligações com o Lagrangeano

poderia nos permitir também considerá-lo como um método Lagrangeano.

O método de Penalização Hiperbólica foi desenvolvido a partir da idéia

geométrica de se construir uma penalização que ficasse situada no intermédio entre a

penalização exterior e a penalização interior. A penalização dentro dessa idéia deveria

ter um formato semelliante a uma calha", conforme ilustra a Figura 11.3.

O método de Penalização Hiperbólica (XAVIER, 1982) resolve o problema

através da solução de uma seqüência de minimizações sem restrições. Ao contrário dos

outros métodos, que têm um único parâmetro, a seqüência de minimizações é obtida

pela variação de dois parâmetros, a saber: um ângulo a! e uma distância r. É natural

se supor, que a existência de dois parâmetros, além de complicar fortemente a

operacionalização do método, deveria comprometer o seu desempenho. Entretanto,

como será visto, esta coexistência não traz maiores problemas, uma vez que, os

parâmetros são manipulados separadamente em duas diferentes fases do algoritmo.

O método trabalha com uma função penalidade que apresenta a destacável

característica de ser completamente diferenciável. Outra característica importante, é

que qualquer ponto pode ser tomado como ponto inicial, assim como, não se faz

necessário qualquer controle sobre a localização dos pontos intermediários dentro de

cada minimização sem restrições. O método apresenta a vantagem de obter ao final

de cada iteração na segunda fase do algoritmo duas cotas que limitam o valor da

solução final do problema e que, por isso, se constituem num excelente critério para

parada do processo de rniniinizações. Além disso, é possível obter uma solução

aproximada, mas com uma pré-estabelecida precisão, em uma única iteração no

pasâmetro r. Finalmente, para problemas convexos, o método obtém pontos duais

viáveis. Os correspondentes valores da função dual convergem para o ótimo do prima1

(XAVIER, l982a).

A questão da inviabilidade é tratada através da solução de um problema

auxiliar intimamente articulado com o processo normal utilizado para a resolução do

problema original (XAVIER, l982a).

A seqüência de pontos de mínimo das minimizações sem restrições tem em

geral a seguinte trajetória. Inicialmente se aproxima da região viável até penetrá-la.

Em seguida, segue-se o movimento inverso no sentido da fronteira até, no limite,

atingi-la. Ou seja, o método proposto tem.a característica de seus pontos de mínimo

seguirem uma trajetória "de fora para dentro" numa primeira fase (igual aos métodos

das penalidades exteriores) e "de dentro para fora" na segunda fase (igual aos

métodos das penalidades interiores).

A fim de ilustrar todo o mecanismo de funcionamento do método e algumas de

suas características, são apresentados os result ados comput acionais para um pequeno

problema.

Como Última observação, deve ser dito que, quando o parâmetro r se iguala a

zero, o método proposto se confunde com o método de penalização exata de

ZANGWILL (1967), que se utiliza da seguinte função penalidade:

Com a ressalva de que a bibliográfica consultada não tenha sido completa, em

particular, em vista de sua enorme extensão, vale registrar que não nos foi possível

observar outra semelhança mais próxima, além da acima referida, entre o método

proposto e os inúmeros outros métodos da penalização aí descritos.

O algoritmo a seguir apresentado sepopõe a resolver o seguinte problema:

min f(x)

sujeito às condições gi(x) 2 O, i = 1, ..., m

sendo "f" e "g" funções quaisquer de x E R". Ou seja, trata-se da obtenção de solução

do Problema Geral de Programação Não-Linear sujeito unicamente a Restrições de

Desigualdade.

A solução é obtida através da solução de uma seqüência de rninimizações sem

restrições da função objetivo original f(x) acrescida de um termo penalidade

P(gi(x), a, T) para cada restrição. A função minimizada é, então, definida como:

onde P é uma função penalidade apropriada.

O método proposto no presente trabalho se inspirou na função hiperbólica

abaixo definida. Como ficará claro a seguir, o método é válido para uma classe bem

mais ampla de funções de penalidade,,

a! e r variando nos intervalos:

0 E [O, ~ 1 2 )

Na apresentação do trabalho, é coilvenieiite apresentar esta hipérbole numa

forma mais compacta:

Quando colocada em termos de seus dois serni-eixos a e b a hipérbole

apresenta a expressão:

onde:

A Figura (111.1) ilustra a função hipesbólica definida pela equação (111.3)

Propriedades da Função Penalidade

O método proposto está baseado em funções de penalização que apresentem as

propriedades abaixo:

PO: P ( y, a, r) é uma função contínua, bem como, continuamente diferenciável

em y para valores O < a < 1r/2 e T > 0.

P(y,a,r) é assintoticamente tangente às retas ri(y) = - y . t g a e

r2(y) = O para r > 0.

l i m P(y,a,r) = O para T > O e O < a < 1r/2 y-, +o3

l i m P ( y , a , r ) = + m para 7 2 0 e O < a < 1 r / 2 Y-' -cx>

P(O,a,r) = T para r > O e O 5 a < 1r/2

P(y,ak+l,r) <P(y,ak,r) p a r a y > O

P(y,ak+l,r) = P(y,ak,r) = r paara y = O

P(y,ak+l,r) > P(y,ak,r) para y < O

é uma função convexa e decrescente em y para r>O e o < a < Ir12

é uma função convexa e não crescente em y para r=0 e O < a < ~ / 2

é uma função con s t ante i gual a r par a a = O

para y > O , O < a < 7r/2 1 im P(y,a,r) = r+ 0 1" -ytga para y < 0 , 0 < a < 7r/2

P(y,a,r) > -ytga para Vy, O < a < d 2 , r > 0

para 'dy, 'dt, O < a, < 7r/2 e O ( rk+l < r k

PIO: P(g(x), @,r) é uma função convexa em x se g(x) for uma função côncava

P11: maxy(P(y,a,,fl) -P(y,a,+)) = 7 0 - ~ l e o c o r r e e i n y = O

para O < a, < 4 2 e O 5 71 < TO

P12: A derivada da função penalidade em relação a y, ou seja, P;(y,a,,r) é uma

função decrescente com r para pontos y > O (e é uma função crescente com r

par a pontos y < 0).

A função de penalidade P(y, a, r) definida em (111.3) satisfaz às 13

propriedades acima enunciadas. As quatro últimas propriedades por serem menos

evidentes vão demonstradas no Anexo 1.

Objetivando-se simplificar a linguagem e considerando-se o que foi dito

acima, chamaremos de "penalização hiperbólica" a qualquer função que satisfaça às

13 propriedades anteriormente enunciadas.

Graças a seu formato característico, particularmente devido às suas duas

assíntotas (propriedade Pl ) , a penalização liiperbólica viabiliza a concretização do

efeito "calha" conjecturado ao Capítulo 11. A Figura 111.2 a mostra o gráfico

resultante da hiperbólica aplicada a duas restrições: xI ( x < xS.

t I X

Figura II1.P - C o n o r e t l z i ~ ~ o do Etelto Calha

Algoritmo da Penalização Hiperbólica

Preliminarmente à apresentação do algoritmo da penalização hiperbólica

descreveremos uma analogia geométrica que fornece uma perfeita idéia do seu

funcionamento.

Inicialmente como mostra a Figura III.3a, aumenta-se o ângulo a da assíntota

a função penalidade, provocando, com isto, significativo aumento da penalização fora

da região viável, enquanto que, simultaneamente reduz-se a penalização para pontos

dentro da região viável. O processo continua até que se consiga um ponto viável.

mMELB- 1

V ir lqTo do ak mintando ?oon.tin ta

Flgura 111.88

Daí para a frente mantém-se a constante e diminui-se sequencialmente o

valor de T. Desta maneira, consegue-se que a penalização interior torne-se cada vez

mais irrelevante, mantendo-se o mesmo nível de proibitividade fora da região viável.

A Figura III.3b ilustra a segunda fase do processo.

Algoritmo A1

1) F a ç a k = O , d = o P , r 1 = 7 0 sendo 0 < @ < ~ / 2 e f l > O

Tome ponto inicial xo.

2) Faça k = k + 1

3) Resolva problema de minimização sem restrições da função:

a partir do ponto inicial xk-1 achando um ponto ótimo xk .

Teste se xk é viável

sim vá para o passo 6

vá para o passo 2

Regra de Parada: Se xk for aceitável. como solução: pare.

vá para o passo 2.

Alt eriiativainente podemos trat ar diret ameiite com os parâmetros r e r.

Assim, substituindo-se a, por r o algoritmo seria modificado nos passos 1 e 5,

por exemplo, da seguinte forma:

Condições do Problema

A fim de se provar a convergência do algoritmo, é necessário que se

estabeleçam algumas condições sobre o problema.

C1 - O conjunto viável S = {xIgi(x) 2 O , . i = 1, ..., m) é fechado e tem interior não

vazio

C2 - f(x) e gi(x), i = 1, . .., m são funções contínuas

Existem @€(O, 7r/2) e O< taisque:

Existe um r > O tal que o conjunto SE = {xlgi(x) ) - 6 , i = 1, ..., m} é

lirnit ado .

Essa condição especifica duas situações que devem ser observadas na fronteira

da região viável em qiialquer direção secante para fora de S

Consideremos um ponto X na fronteira de S e um ponto inviável w, tal que o

segmento que une x a w se situe inteiramente fora do conjunto viável S e a ele seja

secante.

Tomemos assim dois pontos:

x E Front(S)

w p l s

tal que segmento de reta definido por

v = (1-p) X + pw

seja secante a S. Vale dizer: 3 i < O tal que v E S para ( p 5 O e v j4 S para

O < p ( l .

C5.1 - As restrições ativas decrescem de valor na fronteira, ou seja: para toda

restrição l tal que gdx) = 0 3 6 > O tal que:

gA(1-p)X+pw)<O, O < p < 6

A função objetivo, bem como, as restrições são de variação limitada na

fronteira, ou seja: para V&' > O 3 O ( M < c r ~ tal que

If((1-p)?+pw)-f(?)I <MIp(&)I , O < p ( 6 '

I gi((1-p) X + PW) - gi(X) I ( M I /I(*:) I , i = 1, ..., m, O < p ( 6'

O objetivo da condição (35.1 é evitar situações como a configurada pela figura

abaixo.

Pelo fato das funções serem de variação limitada como especificado pela

condição C5.2, duas situações identicamente patológicas como abaixo ilustradas, são

evitadas .

Flguri 111.6

Se as funções f(x) e gi(x), i = 1, .. . , m forem diferenciáveis podemos definir as

condições C.5 de uma forma muito mais simples

C5.1 - Se se(;) = O então Vg@) # O

C5.2 - Se 2 E Front(S) então:

Deve ser observado que a condição C5.2 equivale à urna condição do tipo

Lipchit z comumente exigida.

Existência de Mínimo

Estabelecidas as condições básicas para o problema, vamos primeiramente

tornar mais amplo o campo de validade da condição C3.

Lema 3.1 (Existência de Mínimo) (XAVIER (1982a))

Se a condição C3 for obedecida, ou seja, se existir algum o10 e algum 70 tal que

i*xE~n F(x, O!, 70) = Fo > -w

e se, além disso, também as condições C1, C2 e C4 forem obedecidas, então, existirá

urn valor a" > o! tal que

MinxERn F(x, o!, r) = inf F(x, a,, r ) xcRn

para todo a, no intervalo a" < ol < 7 ~ / 2 e para todo T no intervalo O 5 T < 70.

Demonstração

Vamos calcular a diferença entre as funções objetivas modificadas para dois

valores de r, sendo 70 2 ri:

F(x, a", 70) = f(x) + P(x, a", 70)

F(x, a", 7-1) = f(x) + P(x, a", 71)

F(x, a", 70) - F(x, a", ri) = P(x, a", 70) - P(x, a", 71) 5 m(70 - 71) 5 mr0

pela propriedade P11 da função penalidade.

Sendo Fo, por definição, o valor ínfimo da função objetivo modificada

F(x, a", 70), estabelecido pela condição C3, podemos escrever a desigualdade acima

na seguinte forma:

Fo - 11170 5 F(x, a", r) = f(x) + P(x, a", r)

que é válida para todo r no intervalo O 5 r 5 70 e todo x E Rn.

Vamos agora estudar a variação do parâmetro a.

Primeiramente vamos nos ater aos pontos viáveis. Seja z um ponto viável

qualquer. Como o conjunto viável S é coinpacto (condições C1 e C4) e a função f(x) é

coiit ínua (condição C2), certamente t ereinos um valor máximo para f (x) neste

conjunto. Assim para todo O 5 r 5 70 e O < Q < ~ / 2 , devido às propriedades P3 e

P5 da função penalidade biperbólica, podemos escrever:

onde f(zM) representa o valor máximo de f(x) no conjunto S.

Ficam, então, estabelecidos os limites ilustrados pela figura abaixo:

Figura 111A

Consideremos agora os pontos inviáveis não pertencentes ao conjunto Se da

condição C4. Seja w um ponto inviável qualquer não pertencente a este conjunto.

Pela propriedades P6 e P7, podemos escrever:

para V0 < r 2 f l , sendo Il = {i I gi(w) < 0).

Somando e subtraindo o termo C (-tga")gi(w), esta desigualdade pode ainda i d l

ser escrita como:

F(w, a, r) > f(w) + C - (tga - t g d ) gi(w) + -tg& gi(w) i d 1 i d l

válida para todo r no intervalo O < r < 70.

De outro lado, pelas propriedades P1, P4 e P5, podemos escrever:

F(w, a", T) < f ( ~ ) + C (-tg@gi(w) + r) + C r < &I1 if11

que também é válido para T no intervalo O 5 T < 70.

Somando m70 a ambos membros da desigualdade (111.8) e usando os resultados

acima obtidos, temos:

F(w, a, r) + m70$ f(w) + C (tga- @a") gi(w) + C - t g d gi(w) + &I1 &I1

+ m702 F(w, d, T ) + C - (tga - t g d ) &(W) i d 1

Passando o termo m70 para o segundo membro, obtemos:

Usando o resultado (III.6), obtemos:

Fo - 2mro + (-(tga - t g d ) ) gdw))

que é válido para todo d ( a < 7r/2, sendo g&w) < gi(w) para todo i E 11.

Como por hipótese w é inviável e não pertence a Se, implica que ge(w) < - E e

por isto, a desigualdade acima pode ser escrita na forma:

F(w, a, r) > FO - 2m70 + (tga - t g d ) E

Analisando a expressão à direita da desigualdade acima, vemos que ela é uma

função ilimitadamente crescente com a no intervalo O < a < 7r/2. Assim certamente

haverá um valor & tal que esta expressão será maior que f(zM) + rn70 para todo a no

intervalo & ( a < n/2 e O < 7( 70. O valor de &, que satisfaz a estas condições, pode

ser facilmente calculado e é dado por:

Finalmente, levando em consideração (111.7) temos:

para quaisquer valores de a, e r nos intervalos a" ( a, < 7r/2 e O 5 r 5 70.

Desta maneira:

infxERli F(x, o, r) = min{inf F(x, a, r), inf F(x, a, r)} = x€S c "S

= infxES F(x, a,, r) €

Como SE é compacto pela condição C4 podemos substituir o ínfimo pelo

mínimo:

para a, e r nos intervalos: a" L a < r/:! e O < r - < 7-0.

Existência de Mínimo Viável

Os teoremas básicos da existência de ponto de mínimo do problema modificado

(111.2) pertencente ao interior da região viável So = {xlgi(x) > O, i = 1, ..., m) e de

sua convergência para o ponto ótimo do problema original podem agora ser

mostrados.

Teorema 3.1 (Existência de Mínimo Viável) (XAVIER (1982a))

Se as cinco condições C1, C2, C3, C4 e C5 forem obedecidas, existe &(TO) tal

que, para todo a, no intervalo a" < a < 7r/2 e para todo r no intervalo O ( r 70,

qualquer ponto de mínimo da função objetivo modificada F(x, a, r ) , que

denominaremos genericamente por x(a, r) , é viável.

Demonstração

Seja w um ponto inviável qualquer pertencente a Sc.

Vamos ligar este ponto w a um ponto v na fronteira de S = {xl gi(x) 2 0,

i = 1, ..., m) de uma maneira tal que a reta que os une seja secante a S, como ilustra

a figura 111.7 abaixo.

Sem perda de generalidade, vamos ordenar as restrições de tal sorte que se

i E I, j E I sendo I o conjunto das restrições I = (1, ..., m) e se i < j então:

Vamos considerar a função objetivo e as funções restrições restritas ao

segmento que une w a v.Convencionemos que p = O corresponde ao ponto v e p = 1 ao

ponto w. Deste modo, vamos definir:

Uma maneira natural de se provar o teorema é demonstrar a existência de um - - u tal que, para todo a no intervalo ( 0 < lr/2 e para todo O ( r ( 70, seja

verdadeira a relação

Vamos preliminarmente fazer uma reorganização das restrições ao longo do

segmento de reta de v a w.

Seja, por definição:

Pela definições de gi(P), i = 1, . . . , m é fácil ver que:

Como pela condição C2, todas as restrições gi(x), i = 1, ... , m são contínuas,

todas as funções gi(p), i = 1, . . . , m também serão contínuas.

Além disso, pela definição de gi(P), i = 1, .. . , m e pela ordenação dada às

restrições gi(x) em função dos seus valores no ponto v, temos:

Tomemos agora a diferença entre os valores da função objetivo modificada

assumidos num ponto do segmento e no ponto v.

Simplificando a notação e levando em consideração a construção das funções

gi(p), i = 1, ..., m, temos:

Como o segmento que une os pontos v e w é por hipótese secante a S, pela

condição C5, temos um decréscimo de &(p) quando aumentamos p a partir do ponto

p = o.

De outro lado, levando em consideração que todos os pontos no segmento são

inviáveis, temos :

Deste modo, é possível achar uma fuiição linear decrescente em p que seja

sempre superior a &(p) no segmento v a w, ou seja:

,Oi pertencendo ao intervalo O > ,& > - 71-12 conforme ilustra a Figura 111.8.

Pela continuidade das funções restrições, e pela condição C5, conforme ilustra

a Figura 111.8, também é possível construir funções lineares afins que sempre sejam

superiores às funções gi(p), i = 2, ... , m, ou seja:

sendo que @i, i = 2, ..., m, podem assumir qualquer sinal.

Similarmente, pela continuidade de f(x) e pela condição C5, podemos construir

urna função linear afim que sempre seja inferior a f(p) no segmento:

Usando todas as funções lineares acima definidas, e em vista da propriedade

P5, podemos escrever:

para Vy, Vt, O < a < r/2 e O 5 T 5 70 e levando em consideração que

&(p) < gi(v) = 0, que pela propriedade P5 'implica em

temos:

válido para todo O 5 T 5 70.

Vamos agora nos ater aos termos correspondentes ao somatório da

desigualdade (111.9) logo acima. Vamos supor o pios caso em que

Devido à convexidade da função penalidade (propriedade P5) podemos

escrever :

Em vista disto, temos:

Levando em consideração a propriedade P12 que a derivada P;(y, o!, r) é não

crescente com r para pontos y 2 0, será válida a relação:

para qualquer O 5 r < 70, uma vez que por construção gi(0) = gi(v) > 0,

i = l , 2 ,..., m.

Usando a relação acima, obtemos:

que é válida para qualquer O 5 T 5 70.

Substituindo a desigualdade acima em (111.9) e fazendo

Ki > 0, obtemos:

válida para O 5 T 5 r0 e O < p 5 1.

Analisando a expressão à direita da desigualdade acima, vemos que ela é

ilimitadamente crescente com a no intervalo O < a < ~ / 2 . Assim certamente haverá

um valor tal que esta expressão será positiva para todo a no intervalo - a < a < 7r/2 e O < T ( 70. Este édadopor

m

- -tg po + C Ki.tg Pi

- i=2 a = arc tg(

- t g p i 1

Finalmente, fazendo:

onde 2 é o valor limite estabelecido no Leina 3.1, provamos que:

infxERn F(x, a, r) = mins F(x, a, r)

- - para a, e r nos intervalos ao < a,< 7r/2 e O < r 5 70.

Convergência da Seqüência de Mi'nimos

Teorema 3.2 (Convergência) (XAVIER (1982a))

Se a seqüência {rk) é monotonamente decrescente tendendo a zero, ou seja,

1 i m r k = O, e se xk for sempre viável para a k = a (constante) sendo xk qualquer k+ w

ponto tal que F(xk, a k , r k ) = min, F(x, a k , r k ) , então existirá uma subsequência

convergente {xk) + Z e O limite de qualquer dessas subseqüêiicias é um ponto ótimo.

(Alternativamente, a seqüência xk converge para o conjunto de soluções ótimas do

problema com restrições).

Demonstração

As condições C1, C2 e C4 garantem que o problema de programação (111.1)

tenha pelo menos uma solução ótima desde que f(x) uma função contínua é definida

numa região viável S compacta.

Seja X* o conjunto de pontos ótimos do problema. Para qualquer ponto

X* E X* é observada a relação:

já que xk por hipótese é viável.

De outro lado, como xk é ótimo do .problema modificado (111.2) na iteração k,

temos:

Tomando o limite quando k -t co

-

l i m F(xk, G, r k ) 5 l i m F(x*, a, r k ) k-1 w k+ 00

m l i m (f(xk) i- . C P(gi(xk), Lu, r k ) ) ( k-t w 1=1

Como por hipótese {rk) -t O quaildo k -t KI e devido à propriedade P7 da função

penalidade, temos:

1 i m f (xk) 5 f (x*) k+ cx,

Comparando a expressão acima com (111.11) coiicluíinos que:

Como, pelas condições C1 e C4, o conjunto viável é compacto, certamente kl existirá uma sub-seqüência {x ) convergente a um ponto xl, onde teremos:

Convergência do Algoritmo

Demonstrados os dois teoremas básicos, podemos agora facilmente provar que,

obedecidas as condições previamente estabelecidas, o algoritino proposto converge.

Todavia, para efeitos teóricos da demonstração de convergência, o passo 6, regra de

parada, deve ser modificado para uma forma: se f(xk) for igual a f(x*), pare.

Teorema 3.3 (Convergência do Algoritmo) (XAVIER, 1 982a)

Obedecidas as condições C1, C2, C3, C4 e C5, o algoritmo A1 converge para o

valor ótimo c10 problema de programação (111.1).

Demonstração

Sempre que na iteração k o ponto ótimo x k não for viável, o ângulo olk'l é

aumentado por uma quantidade finita no sentido de ~ / 2 . Deste modo certamente

haverá uma iteração I< tal que o ângulo da próxima iteração a''" será maior ou

igual que o valor do ângulo Z ~ ( T I<+') conforme especificado no Teorema 3.1, ou seja,

Em função disso, os pontos xk serão sempre viáveis para todas as iterações

k >_ I<+1.

Temos, então, a partir da iteração K+1, o movimento de decréscimo

permanente do parâmetro T no sentido de O (zero)enquanto o ângulo a, é mantido

constante.

Como provado no Teorema 3.2, o valor da função objetivo modificada

convergirá para o valor ótimo do problema de programação original, ou seja:

Para usarmos na regra de parada qualquer critério a convergêiicia de pontos

{xk) necessariamente deveremos estabelecer uma coiidição adicional para garantirmos

a convergência do algoritmo para um único ponto. Esta condição poderia, por

exemplo, ser singelamente:

C0 - o ponto ótimo do problema de programação é único.

Vale observar que, lia seqüência de iniiliinizações, eilquanto o parâmetro a

estiver sendo alterado, durante a fase 1, a seqüência de pontos de mínimo {xk)

basicamente segue uma trajetória de fora para dentro da região viável, ou seja, o

método da penalização hiperbólica trabalha similarmente aos métodos de penalização

exterior. Ao passo que, enquanto o parânietro T estiver sendo diminuido durante a

fase 2, em geral a trajetória da seqüência {xk ) é no sentido de dentro para fora da

região viável, até o limite, atingi-la, ou seja, o método de penalização hiperbólica

trabalha similarmente aos métodos de penalização interior.

Além das questões teóricas relacionadas com a convergência do algoritmo

proposto, alguns outros aspectos, práticos e teóricos, foram tratados em XAVIER

(1982a). Assim é que foi examinado o tratamento de eventual inviabilidade no

problema original (111.1). Foi apresentada, outrossim, a possibilidade de alcançar uma

solução (aproximada) em uma única iteração. Finalmente, restringindo-se ao

Problema Convexo, foi mostrado que o algoritino proposto gera pontos viáveis do

problema, dual, que convergem, por seu turno, para a solução ótima do problema

primal.

Multiplicadores de Lagrange

Considerando que as condições CO-C5 sejam válidas para o problema, o

algoritmo gera uma seqüência de pontos de mínimo intermediários que convergem

para a solução do problema, ou seja, {xk) + x*. Uma característica comum aos

métodos de penalização é que paralelamente a esse processo é gerada uma seqüência

de valores que convergem para os multiplicadores de Lagrange (MINOUX (1986)).

Para procedermos à análise da questão dos multiplicadores de Lagrange

precisamos especificar mais duas condições ao problema: condição de

diferenciabilidade e condição de regularidade do ponto x*.

C2'- f(x) e gi(x), i = 1, . . . , in são funções difereiiciáveis

C6- (condição de regularidade). Os gradientes das restrições ativas no ponto de

ótimo x* são linearmente independentes.

As condições impostas ao problema implicam na existência de um único vetor

A*, vetor dos multiplicadores de Lagrange, que satisfaça às condições de

Karush-Kulin-Tucker :

Sem perda de generalidade convencionaremos que as restrições são organizadas

de tal forma que as primeiras m* são ativas, ou seja:

Um aspecto interessante do algoritmo proposto, comum aos métodos de

penalidade, é que à medida que o problema (111.1) é resolvido, através da sequência

de minimizações sem restrições, é paralelamente gerada uma seqüência de valores que

convergem para os multiplicadores de Lagrange. Usando de uma liberdade de

linguagem, por desempenharem papel similar aos multiplicadores de Lagrange, esses

valores são por estes nomes também denominados.

Num ponto de mínimo intermediário x k é observada a condição

Se fizermos

e considerarmos que

em virtude da continuidade de Vf e Vgi devemos ter

pois pela condição C5 os multiplicadoses são únicos e pela propriedades P5 e P7

pois gi(x*) > O, i = m*+l, ..., m..

Calculando, assim, a expressão das derivadas da função lipesbólica chegamos à

expressão desses multiplicadores:

Taxa de Convergência

Pela análise da convergência dos multiplicadores de Lagrange podemos derivar

o comportamento da taxa de convergência do algoritino à medida que o parâmetro

T + 0. Essa taxa será derivada segundo um esquema similar ao adotado em

McCORMICK e SOFEL (1988).

Três situações merecem ser consideradas separadamente: restrições ativas em

que é observada a condição de complementariedade estrita, ou seja, gi(x*) = O e

X i > 0, restrições ativas com multiplicadores de Lagrange associadas nulos e

restrições inativas.

Preliminarmente vamos proceder à simplificação da expressão (111.12) dos

multiplicadores para facilitar à manipulação.

Denominando

podemos facilmente transformar (111.12) para a expressão

onde I< é constante, pois a é mantido constante na fase final do algoritmo.

* Vamos analisar o primeiro caso: gi(x*) = O e X i > O. Na medida que

* l i m = A i k-t a2

devemos ter

Fazendo uso da notação adotada por HARDY (1952), em vista da condição C6

de regularidade, podemos escrever:

Levando em consideração que xk depende unicamente do parâmetro ~ k , as

expressões (III.15a) e (III.15b) acima podem ser colocadas sob uma forma mais

apropriada

As expressões (III.16a) e (III.16b) resultantes indicam assim uma convergência

linear com o parâmetro r das restrições ativas que tenham multiplicadores

estritamente positivos.

Vamos considerar agora a taxa de convergência para o caso degenerado em que *

gi(x*) = O e A i = O. Pela análise da expressão (III.13), devemos ter nessa situação:

Fazendo uso da notação adotada por Hardy

A expressão (111.17) acima indica assim uma baixíssiina taxa de convergência

para os problemas em que não seja observada a condição de folga complementar

estrita.

Para as restrições não ativas, raciocínio análogo ao empregado nos dois casos

anteriores, nos leva a concluir que

A expressão acima é natural pois gi(x*) > O para restrições inativas enquanto

rk + O. Embora aparentemente sem significado, essa expressão pode ser útil na

determinação prática do conjunto de restrições ativas.

Exemplo Ilustrativo do Uso do Algoritmo A1

A fim de ilustrar sucintamente o mecanismo de funcionamento do algoritmo

são apresentados os resultados computacionais obtidos na resolução de um problema

de pequeno porte.

O problema é muito siinples, pois é convexo com somente duas variáveis e

duas restrições. Trata-se de um problema teste apresentado por HIMMELBLAU

(1972), originalmente proposto por J. Bracken e G. P. McCormick, com o seguinte

enunciado:

min f(x) = (xi-2)2 + (x2-1)2

sujeito a gi(x) = -xs + x2 > O

g2(x) = - x1 - x2 $ 2 > o

que tem como solução ótima: x* = (1,1), f(x*) = 1, gl(x*) = g2(x*) = O e

A* = (213, 213).

Foram adotados os seguintes valores iniciais no passo 1 do algoritmo:

xo = (2,2), alo = 3.14159258132 e 70 = 1.

A miniinização sem restrições foi feita utilizando-se a rotina GIMIN que

basicamente implementa um particular método das secantes (FRIEDLANDER, A,,

MARTINEZ, J. M. and SCOLNIK, H. D. (1977)). Os seus parâmetros Critério de

Convergência e Passo de Discretização foram tomados constantes, respectivamente

com os valores 1.10-9 e 1.10-10.

Para a variação dos parâmetros a e r, respectivamente nos passos 5 e 7, foram

adotadas as seguintes regras: tg&+l = 2tgak e ++i= ~k/10, que é uma formulação

equivalente à originalmente est abelecida na apresentação do algoritmo Al.

Os resultados apresentados na Tabela 111.1 e a Figura 111.9 mostram a

mecânica de funcionamento do algorit mo.

Até a iteração 5, primeira fase do algoritmo, ocorre o aumento repetitivo do

ângulo a (vide Figura III.3.a). Essa variação tem o efeito de fazer com que o ponto de

ótimo do problema modificado x k seja gradativamente jogado para o interior da

região viável.

Nas iterações seguintes, segunda fase do algoritmo, se dá a diminuição do

pasâmetro T (vide Figura III.3.b). Essa variação basicamente tem o efeito de diminuir

a penalização em termos absolutos, porém mantendo o mesmo nível de proibitividade

(dado por a) fora da região viável. Assim o ponto xk pode se mover com mais

liberdade dentro da região viável na direção do ponto ótimo do problema original.

A convergência do processo pode ser vista em particular nas colunas f(xk),

F(xk, a, r k ) , P (xk, c@, rk), xk e g(xk). Na segunda fase do algoritmo, conforme

previsto pelas equações (III.16), os valores das restrições (ativas) apresentam uma

relação linear com o parâmetro r. É importante notar a coluna I V , F ( ~ k , a k , ~ k ) 1 2,

moda euclidiana do gradiente da função objetivo modificada, onde os valores a partir

da iteiação 12 indicam claramente o aumento da dificuldade de se achar um mínimo

preciso para valores pequenos de r . Essa dificuldade está associada à degenerescência

da matriz hessiana com a dimiiiuição do parâmetro r, como veremos logo a seguir.

Esclarecemos que a peníiltima coluna G(xk, Xk) corresponde aos valores da

função dual segundo a formulação de Wolfe (conforme por exemplo FIACCO

McCORMICK (1964) e ZANGWILL (1967)). A última coluna representa uma cota

inferior alternativa para o problema conforme desenvolvido em XAVIER (1982a).

Tabela III.1- Resultados computacionais para o problema 1 - Parte 112

ITERAÇÃO (k) ~k NO. DE PASSOS f(xk)

Tabela 111.1 - Resultados computacionais para o problema 1 - Parte 214

Tabela 111.1 - Resultados computacionais para o problema 1 - Parte 314

Tabela 111.1 - Resultados computacionais para o problema 1 - Parte 4/4

Experiência Computacional do Uso do Algoritmo A1

A despeito de todo arcabouço teórico provaido seu funcionamento e a despeito

de um conjunto de características que em tese lhe deveria conferir um bom

desempenho, fica sempre a dúvida sobre a iobustez (capacidade de resolver

problemas) e a eficiência (rapidez) apresentadas na prática pelo método.

Exatamente com objetivo de testar a sua robustez, o algoritmo A1 foi

submetido um conjunto de problemas testes, cujos resultados estão registrados em

XAVIER (1 986).

Os problemas selecionados fazem parte da bibliografia sobre o tema. Como

fonte básica foi usado o livro de HOCK e SCHITTKOWSMI (1981) em que são

apresentados 11 9 problemas testes. Dentre esses foram selecionados 5 problemas (de

números 95, 101, 116, 117 e 118) segundo um critério de maior grau de dificuldade de

resolução. Essa medida de dificuldade foi obtida através de uma avaliação do

desempenho de 6 consagrados códigos de utilização corrente a nível internacional

frente a esses problemas, conforme registrado em HOCK e SCHITTKO WSKI (1981).

Adicionalmente, foi escolhido um problema de grande porte e considerado difícil para

testar o algoritmo, problema 23 descrito em HIMMELBLAU (1972) (vide Anexo 2).

A precisão dos resultados obtidos frente a esses problemas considerados na

literatura de alta dificuldade constitui-se em um indicador da potencialidade e da

robustez do método.

Ademais, o método da Penalização Hiperbólica tem sido utilizado com sucesso

em aplicações práticas no campo da Hidrologia (CANEDO, SILVA e XAVIER

(1989)) e XAVIER, CANEDO e SILVA (1990)), onde resultados inauditos têm sido

alcançados.

A Questão da Hessiana e suas Implicações

A grande deficiência de todos os métodos das penalidades exteriores e

interiores decorre da estrutura da Matriz Hessiana tornar-se crescentemente

desfavorável a cada iteração. A medida que o parâmetro de controle destes métodos

tende a infinito, m* valores próprios desta matriz tendem a infinito, sendo m* igual

ao número de restrições ativas no ponto de ótimo do problema (conforme exposto por

exemplo em LUENBERGER (1973), LOOTSMA (1972), RYAN (1974) e AVRIEL

(1976)).

Este mau condicionamento da Matriz Hessiaiia como é sabido, pode dificultar,

ou até mesmo impedir, o sucesso da minimização sem restrições. Como registrado por

AVRIEL (1976) os mais eficientes métodos para minirnizações sem restrições, que

pertencem ao grupo dos métodos tipo Newton, Gradientes Conjugados e Métrica

Variável, ironicamente são os mais vulneráveis à principal desvantagem apresentada

pelos métodos das penalidades exteriores e interiores.

A exploração efetiva desses métodos, como observa LUENBERGER (1973),

requer que sejam inventados esquemas especiais que eliminem o efeito provocado

pelos valores próprios infinitos.

Similarmente aos métodos de penalidades exteriores e interiores, que

apresentam a matriz Hessiana da função objetivo modificada com m* valores próprios

infinitos (vide por exemplo, FIACCO e McCORMICH (1966), LOOSTMA (1968a),

LOOTSMA (1969) e LOOTSMA (1970)) o método da Penalização Hiperbólica, como

mostrado logo a seguir, apresenta idêntica característica. Assim tendo mau

condicionamento também eilfrent a as mesmas dificuldades descritas para os outros

métodos.

Preliminarmente ao estudo da matriz hessiana, devemos explicitar uma

condição que o problema também deve obedecer:

C7 - (Complementariedade Estrita). A solução não é degenerada, ou seja, se *

gi(x*) = O o multiplicador associado é estritamente positivo, A i > 0.

Em síntese, o conjunto de condições impostas ao problema (CO, C1, C2', C3,

C4, C5, C6 e C7) além de viabilizar a convergência do algoritmo da Penalização

Hiperbólica, garantem a unicidade de x* e A* e a complementariedade estrita.

Teorema 3.4:

A matriz Hessiana da função objetivo modificada apresenta m* valores

próprios infinitos quando T + 0.

Demonstração

Vamos, então, calcular a Matriz Hessiana para o nosso caso. Derivando a

expressões (111.2) e (111.3) em relação a x, temos:

sendo I< definido como

Derivando novamente temos:

onde v;f(x) e V;gi(x) representam respectivamente as Hessianas de f(x) e de gi(x). A

Última parcela pode ser substituída pelo produto entre as matrizes Vg(x) Q(x) vgT(x)

onde Q é uma matriz diagonal (m x m) definida como:

Na seqüência de minimizações sem restrições, vamos ver o que acontece com

este termo da diagonal quando T -1 O e a restrição é ativa, ou seja, gi(x(7)) -t O

= l i m I P

Podemos modificar a expressão dos multiplicadores de Lagrange (III.13),

colocando-a na forma:

* * Como a seqüência { X i ( ~ k ) ) converge para X i e como X i > 0, pela condição C7,

devemos ter:

1 i m # O 7-10 gi(x(7))

e deste modo

Substituindo (111.22) em (III.20), obtemos:

IG' 1 im P"(~~(x(T),Q,T) = l i m - w 7-1 o 2 3 2 3 3 1 2 - T+O ( K ~ W ~ I gi(x(T)) + T )

Desse modo, a matriz Q(x(T)) possui m* valores próprios que tendem a

infinito quando T -1 O. Os demais (m-m*) autovalores são iguais a zero (basta

considerar gi(x(r)) > O na expressão acima). Na composição da matriz hessiana

(11119) cada parcela P 1 ' ( g i ( x * ) , ~ ~ ) Vgi(x*) vTgi(x*), i = 1, ..., m* tem rank 1.

Como os gradientes Vgi(x*), i = 1, .. . , m* são linearmente independentes, pela

condição C7, resulta que a matriz resultante do somatório tenha rank m* e possua m*

autovalores iguais a m. Desse modo, a matriz hessiana também apresentará m* valores

próprios infinitos quando r -1 0.

Tendo em vista superar as dificuldades produzidas pela degenerescência da

matriz Hessiana, XAVIER e MACULAN (1984) desenvolveram um bem sucedido

esquema de extrapolação que se utiliza da sucessão dos valores intermediários

{xk, Ak) para estimar (x*, A*) com precisão.

No trabalho acima referido, foi analisado o comportamelito de x(rk) e A(7-k) na

segunda fase do algoritmo da penalização hiperbólica (ak é mantido constante). Foi

demonstrado que X(T) e X ( T ) são vetores continuamente diferenciáveis em relação ao

parâmetro T para r 2 0, sob o conjunto de condições anteriormente relacionadas

acrescida da condição de convexidade. Ademais, se as funções f(x), gi(x), .. ., g,(x)

admitirem derivadas de ordem mais elevada, X(T) e A(T) também as admitirão.

Os resultados de diferenciabilidade criam as condições necessárias que

viabilizam uma expansão de x(r) e X(T) em termos de r na vizinhança do ponto

r=O.

De uma maneira análoga, pode ser feita a mesma expansão para o vetor A. Na

expressão (IILB), os vetores a , . , a são desconhecidos. Entretanto, isso não

acarreta qualquer dificuldade, pois se for adotada a regra de variação do parâinetro

49 1 C T = q r , O < q < 1, estes vetores podem ser facilmente eliminados através do

esquema de Richaidson-Roinberg (vide por exemplo, HENRICI (1 977)), que se

utiliza dos L mínimos anteriores a fim de se estimar x*.

XAVIER e MACULAN (1984) apresentam um exemplo numérico em que para

se obter pela forma ortodoxa result ados tão precisos quanto aqueles produzidos

através do mecanismo de extrapolação, seria necessário um valor de r

aproximadamente 105 menor.

No capítulo anterior, o método da penalização hiperbólica foi analisado e

apresentado prioritariamente dentro do enfoque de penalidade. Análises e

coinparações foram desenvolvidas para situá-lo no contexto dos métodos de

penalização exterior e interior. Assim, foi mostrado que na sua primeira fase

(caracterizada pela manipulação do parâmetro a) a penalização hiperbólica se

comporta similarmente aos métodos de penalização exterior, como por exemplo, os

que usam a função de perda quadrática (FIACCO e McCORMICK, (1966, 1968)). Na

sua segunda fase (caracterizada pela manipulação do parâmetro r) o seu

comportamento se aproxima mais dos inétodos das barreiras, como a penalização

logarítmica (LOOTSMA 1967) ou a penalização dada pela função inversa (FIACCO e

McCORMICK 1964). Ademais, foi mostrado que nessa segunda fase, quando o

paiâmetro r -, O, o método da penalização hiperbólica assintoticamente se aproxima

do método da penalização exata de ZANGWILL (1967).

Iniciaremos nesse ponto, a exploração de uma importante ligação até então

pouco contemplada: a estreita ligação do método com a Função Lagrangeana e, por

conseqüência, com as condições de otimalidade.

Recapitulando, seja xk = x(ak, r k ) um ponto que resolve o subproblema na

iteração k, ou seja, rninimiza a função F(x, a k , r k ) definida pela expressão (111.2).

Pela condição necessária de primeira ordem, nesse ponto deveremos necessariamente

ter:

onde PI representa a derivada da função penalidade P(y, a, r) em relação a y.

Se definirmos

e compararmos com as condições de otiinalidade de Karusli-Kuhn-Tuclm, como foi

visto anteriormente no Cal~ít ulo 111, essas quantidades cuinprem um papel similar aos

multiplicadores de Lagraiige e, por isso, são chamados de multiplicadores de Lagiange

generalizados. No caso particular da função penalidade hiperbólica definida em

(III.3), temos a seguiilte expressão para esses multiplicadores:

onde gi denota gi(xk).

(IV. 2)

No Capítulo anterior, bem como nos trabalhos XAVIER (1982a) e XAVIER e

MACULAN (1984), o deseiivolvime~lto foi feito considerando um único par de

parâmetros (o, r) comum a todas as restrições do problema. Todavia, a teoria

anteriormente desenvolvida continua sendo válida se adotarmos um par (ai, ri) para

a penalização de cada particular restrição gi(x) > O, i = 1, ... , m. Nessa forma, a

função de penalização (111.3) assume a seguinte expressão:

(IV. 3)

onde gi denota a restrição gi(x).

Definindo:

(IV .4)

a expressão (111.2) para o caso da penalização liiperbólica pode ser colocada sob a

forma:

A Função Lagrangeana, como sabemos, é definida por:

Comparando (IV.5) e (5.6),vemos então que a função objetivo modificada

(111.2) pode ser colocada sob a forma:

e a função penalidade sob a forma:

(IV. 7)

(IV. 8)

Analisando a expressão acima podemos ver que a função objetivo modificada

associada à penalização hiperbólica pode ser decomposta como a soma da função

lagrangeana com um somatório de termos que contém quadrados dos produtos entre

os valores das restrições e seus correspondentes inultiplicadores (folgas *

complementares). Em qualquer ponto de ótimo (x*, A*) devemos ter A i gi(x*) = 0,

i = 1, ..., m e, por isso, nesse ponto o somatório assume um valor mínimo igual a in C Ti. Dentro dessa ótica, o somatório na expressão (IV.7), pode ser interpretado

i = l

como uma penalidade à não observância da condição de complementariedade das

folgas que é acrescentada à função lagrangeana.

Numa análise superficial, é possível perceber que, na composição da função

objetivo modificada, ao tentarmos ininimizar essa parcela, automaticamente *

estaremos buscando a solução ótima, onde prevalecem as igualdades A i gi(x*) = 0,

i = 1, ..., m.

Através da análise da expressão IV.7 podemos chegar a um novo entendimento

de penalização hiperbólica que a associa aos métodos dos inultiplicadores: a função

objetivo resultante corresponde à função lagraiigeana aumentada por um termo

penalidade.

CAPITULO V

MÉTODOS DOS MULTIPLICADORES

Na bibliografia existe uma grande variedade de métodos denominados ora

lagrangeanos aumentados, ora métodos lagrangeanos modificados, ora métodos de

multiplicadores, que possuem estrutura similar a expressão (IV. 7). Conforme

destacado por POWELL (1978): "funções lagrangeanas são as bases de muitos dos

mais bem sucedidos métodos para resolução de problemas de otimização com

restrições".

Conforme registrado por MINOUX (1986): "hoje em dia é com justiça

reconhecido que os métodos de otimização para problemas com restrições baseados no

uso de lagrangeanos aumentados estão entre os mais eficientes e robustos métodos de

uso geral para a resolução de problemas de programação matemática com função

objetivo e funções restrições fortemente não lineares.

Os métodos de multiplicadoies surgiram originalmente destinados à resolução

do problema de programação não linear sujeito a restrições de igualdade:

min f(x)

s.a. h j ( x ) = 0 , j = l , ..., p

HESTENES (1969) propôs a forma:

onde pj corresponde aos multiplicadores de Lagrange e p é um parâmetro de

penalidade positivo.

POWELL (1969) independentemente propôs urna expressão quadrática

diferente, mas equivalente à função de Hest enes:

onde Bj é uma tolerância à violação a cada restrição e T é um parâmetro de

penalidade. Se na expressão (V.3) fizermos a mudança de variável pj =

derivaremos a função (V.2) proposta por Hestenes acrescida por um termo constante.

Pouco depois, HAARHOFF e BUYS (1970) produziram a terceira proposta

independente da mesma idéia.

Para o problema não linear sujeito a restrições de desigualdade (1.2)) a função

lagrangeana aumentada mais consagrada é devido a ROCKAFELLAR (1974)

ARROW, GOULD e HOWE (1973)) considerando uma classe geral de

Lagrangeanos aumentados para o problema de programação não linear (I. 1) fornecem

um conjunto de exemplos de funções que atendem ao modelo proposto. Para as

restrições de desigualdade são relacionadas, além da formulação de Rockafellar, as

funções penalidades:

sendo y número inteiro par;

As duas primeiras funções penalidades (V.5) e (V.6), segundo citado em

ARROW et alli (1973) foram respectivamente propostas por ARROW e HURWICH

(1956) e GOULD e HOWE (1971).

No mesmo trabalho, ARROW et alli (1973) consideraram para as restrições de

igualdade a mesma função (V.2) adotada por Hestenes-Powell.

MANGASARIAN (1975) associando uma ampla classe de lagrangeanos

aumentados ao problema geral de programação não linear (1.1) apresenta um

conjunto de exemplos de funções penalidades que satisfazem às condições do modelo

proposto. A função objetivo modificada é colocada sob a forma:

onde

MANGASARIAN (1975) relaciona as seguintes funções $:

1 $(C) =- IcIt, t inteiro, t 2 2 rt

2 $(c) = cosh 5 - L - 1

2

O uso da primeira função $ acima (V.8) com t = 2, na expressão (V.7) nos

conduz ao lagrangeano aumentado de Rockafellar (V.4).

KORT e BERTSEKAS (1976) propõem para o problema com restrições de

desigualdade a função penalidade de ordem t:

sendo t > 2.

Além dessa função, KORT e BERTSEKAS (1976) propõem uma função

penalidade que é duas vezes diferenciável. Destarte superam a principal desvantagem

da formulação de Rockafellar (V.4) por possuir descontinuidade da derivada segunda

no ponto gi(x) = Xi/p.

PIERRE e LOWE (1975) descrevem em seu livro específico sobre lagrangeano

aumentado as questões envolvidas nessa abordagem e sintetizam um algoritmo para

problemas simultaneamente com restrições de igualdade e desigualdade. Para as

restrições de desigualdade, é adotada a função penalidade:

Xigi(x) 4- ~ ( g i ( x ) ) ~ para X i > O

sendo w em princípio um níimero muito grande.

NAKAYAMA, SAYAMA e SAWARAGI (1975) propõe a função lagrangeana

aumentada:

definida para X 2 0, que combina ao mesmo tempo características tanto de métodos

de penalização interior como de exterior.

FLETCHER (1970, 1973) desenvolvem um elegante método que resolve o

problema (1.1) através de uma única minimização irrestrita de uma função

lagrangeana aumentada diferenciável. Outros trabalhos podem ser citados que

propõem diferentes funções lagrangeanas aumentadas exatas, como: MUKAI e

POLAK (1978), PILLO e GRIPPO (1979) e BOGGS e TOLLE (1980).

MIELE et alli (1971a, 1971b, 1972a, 1972b) registram uma ampla experiência

computacional do uso de métodos lagrangeanos aumentados.

As propriedades e características dos métodos lagrangeanos aumentados

podem ser vistas nos amplos levantamentos desenvolvidos por RYAN (1974))

FLETCHER (1974)) FLETCHER (1983), MINOUX (1986) e, em especial, o livro de

BERTSEKAS (1982), resultado da compilação e consolidação de importantes

trabalhos do autor BERTSEKAS (1975a), BERTSEKAS (1975b), BERTSEKAS

(1976a), BERTSEKAS (1976b) e KORT e BERTSEKAS (1976). Dentre os trabalhos

mais recentes, destacamos a importante tese de EL-ALEM (1988) onde é apresentada

uma abordagem integradora entre os métodos das penalidades, métodos dos

multiplicadores e métodos de região de confiança.

Deve ser contrastado que a função utilizada i10 presente trabalho (IV.7)) que

denominaremos função Lagrangeana Hiperbólica, possui a destacável propriedade de

ser continuamente diferenciável, qualquer que seja a ordem da derivada considerada

em qualquer das variáveis: y, X ou r. Vale dizer, a função Lagrangeana Hiperbólica é

de classe Cw nessas variáveis. Destarte F(x, A, r) será de classe Cw se as funções

envolvidas f(x) e gi(x), i = 1, ... , m também forem desta classe.

Diversamente, a função usada por ROCKAFELLAR (1974) possui as

derivadas segundas descontínuas no ponto gi(x) = Xi/p. A quase totalidade das

funções acima especificadas (exceção para a função (V.9) de Kort e Bertsekas que é

classe C2), adotadas para a resolução do problema com restrições de desigualdade,

igualmente apresentam tais descontinuidades que podem prejudicar o desempenho dos

algoritmos de minimização irrestrita mais eficientes que se utilizam direta ou

indiretamente das derivadas segundas, como os métodos de Newton, Quasi-Newton

ou Gradientes Conjugados.

Adicionalmente à singular característica de diferenciabilidade, a função

Lagrangeana Hiperbólica oferece a importante propriedade de permitir a obtenção da

solução do problema (1.2) com valores finitos para os parâmetros r, como a seguir

será demonstrado. Essa propriedade oferece a possibilidade de se poder evitar o mau

condicionamento da matriz hessiana.

Conforme conceituado por POWELL (1978), os métodos lagrangeanos

aumentados podem ser vistos como uma extensão da idéia de função penalidade que

evita a necessidade que o parâmetro de controle seja muito elevado.

,

Como registram GILL, MURRAY e WRIGHT (1981), os métodos

lagrangeanos aumentados podem ser construídos de diferentes pontos de vista. Uma

motivação constantemente associada com esses métodos é construir um subproblema

com uma função objetivo tal que:

- a matriz hessiana não seja necessariamente mal condicionada;

- a função seja continuamente diferenciável.

Por aquilo que até aqui foi relatado, a função lagrangeana hiperbólica

atenderia integralmente a esses requisitos fundamentais, o que será comprovado no

Capítulo VI. Todavia, inúmeras são as questões de ordem teórica e computacional

relacionadas aos métodos lagrangeanos aumentadas que devem ser estudadas, tais

como: convergência global e local, taxa de convergência, dualidade, especificação de

algoritmo, atualização dos multiplicadores e experimentação numérica. O próximo

capítulo tem como objetivo abordar essas questões relacionadas especificamente a

função lagrangeana hiperbólica.

CAP~TULO VI

LAGRANGEANO HIPERBÓLICO

Trataremos nesse capítulo de como se utilizar da função lagrangeana

hiperbólica como instrumento eficaz para resolução do problema (111. I) .

Devemos, agora, especificar mais precisamente o problema que estamos

tentando resolver. No Capítulo I11 foram descritas as condições necessárias para se

garantir que a seqüência dos valores gerados pelo método da penalização hiperbólica

convirja para uma solução do problema. Neste capítulo será sempre admitida a

existência de um ponto ótimo x*. Ademais será também válida a condição de

regularidade, condição C6, que estabelece a unicidade dos multiplicadores de *

Lagrange X i , i = 1, .. . , m*, correspondente às restrições ativas, tais que a equação:

seja satisfeira.

Novas Condições

Abaixo vamos relacionar mais quatro conclições que nos será íitil:

diferenciabilidade segunda, coinpacidade, convexidade e suficiência de 2a. ordem. A

condição de difeienciabilidade segunda sempre será suposta válida no decorrer do

capítulo, enquanto as demais serão eventualmente evocadas no desenvolviinento do

texto.

C2"- (Diferenciabilidade Segunda). As funções f(x) e gi(x), i = 1, .. ., m possuem

derivadas segundas contínuas.

C1'- (Compacidade). O conjunto viável S = {x 1 gi(x) 2 O , i = i, ..., m)) é fechado,

tem interior não vazio e é limitado.

C8- (Convexidade). As funções f(x) e -gi(x), i = 1, . .., m são convexas.

C8'- (Convexidade Estrita). A função. penalidade associada a uma restrição

P(gi(x), A i , r) é estritamente convexa para qualquer T > O e A i > O conforme

propriedade PIO. A condição C8 implica na convexidade de F(x,A,r). A

convexidade estrita segue quando f(x) foi estrit amente convexa ou quando

qualquer -gi(x), i = 1, . . . , m* for estritamente convexa ou quando existirem n

restrições lineares ativas linearmente independentes no problema.

C9 - (Suficência de 2% ordem). Sendo V2L(x*,A*) a Hessiana da função Lagreana na

solução ótima (x*, A*), é obedecida a relação:

yT V2L(x*, A*) y > O

para todo vetor y que satisfizer às condições

Resoluçá~ Ideal do Problema Convexo

Apresentaremos a seguir um resultado que mostra as possibilidades da função

lagrangeana liiperbólica caso se conhecesse a priori os valores dos multiplicadores de

Lagrange. Embora sendo uma situação ideal, esse estudo nos fornece elementos para

um melhor entendimento da estrutura subjacente ao lagrangeano hiperbólico.

Ademais, esclarece a ligação entre a penalização hiperbólica e o lagrangeano

hiperbólico.

Vamos admitir inicialmente a hipótese que haja um único ponto de mínimo.

Logo depois essa hipótese será relaxada.

Teorema 6.1

Suponhamos que o problema (111.1) satisfaça às condições de compacidade Cl ' ,

diferenciabilidade C2', convexidade estrita C8' e regularidade C6.

Se o problema (111.1) satisfizer às condições acima especificadas e se os ângulos *

ai, i = I , ..., m da função penalidade hiperbólica (111.3) forem escolhidos de sorte a

atender às igualdades:

então o problema será resolvido em uma única minirnização irrestrita para qualquer

T > O .

As condições impostas implicam na existência de uma solução f(x*) finita para

o problema num ponto de mínimo único x*. Adicionalmente a condição CG implica na

* existência de um único conjunto de multiplicadores A* e desse modo os ângulos ai,

i = 1, . . . , m são univocamente determinados.

Num ponto de mínimo x(a*, T) da função F(x, a*, T) uma condição necessária

é que o gradiente se anule:

VF(x(a*, r), a*, T) = 0

Considerando a igualdade (VI.l), essa condição pode ser escrita como:

(VI. 2)

Vamos analisar o que acontece se substituirmos nessa última expressão

x(a*, r) por x*, a solução do problema. Lançando mão das condições de

Karush-Kuhn-Tucker vemos que os dois primeiros termos se anulam pela hipótese de

otimalidade de (x*, A*). O último termo se anula pela condição de folga *

complementar (Ai gi(x*) = O, i = 1, ..., m) já que r > 0.

Como a função F é estritamente convexa, esse último fato implica que:

F(x*, a*, T) = F(x(a*, r), a*, T) (VI. 3)

e que

Teorema 6.2: Se o problema satisfizer às condições de diferenciabilidade C2',

convexidade C8, regularidade C6 e complementariedade estrita em todo ponto de

ótimo C7, as conclusões do Teorema 6.1 continuam válidas.

A ausência da condições de convexidade estrita elimina a certeza de ponto de

mínimo único x*. Sendo x(o*, r) qualquer ponto de iníilimo da função objetivo

modificada F(x, o*, r) a equação (VI.3) continua válida. Resta provar que

f(x(o*, r ) ) = f(x*) e que x(o*, r)) é um ponto viável. Primeiramente devemos

considerar que para as restrições não ativas:

por isso

que pela propriedade P5 determina:

P(gi(x),o*,~) = r, i = m * + 1, ..., m, paraVx~iRn

Como gi(x*) = O, i = 1, . .., m, pela propriedade P3 tem-se:

P(gi(x*),o*,~) = r, i = 1, ..., m*

Levando em consideração as duas últimas igualdades, chegamos à expressão:

F(x*, o*, r ) = f(x*) + m r (VI.4)

Utilizando-se novamente da convexidade, temos:

F(x(c~*,r),o*,r) = F(x*,o*,r) = F(&* + (1-0) x(o*,T), o*, r) =

sendo O 5 0 5 1.

Reagrupando a expressão acima e fazendo uso das igualdades anteriormente

obtidas chegamos à expressão:

m C P(gi(&* + (1-0) x(Q*,T)), o*, r) + (m-in*) r =

i= 1

= f(x*) + m r - f(&* + (1-0) x(o*, r))

Como a função f é convexa, o segundo membro da igualdade acima é uma

função côncava. De outro lado, o primeiro membro é uma função convexa pois é igual

a uma soma de funções convexas. A única hipótese possível para atender a esse

conflito é que ambos membros sejam constantes no inteivalo O 5 0 5 1, ou seja, que

f (x (2 , r)) = f(x*)

Resta provar que x(a*, r) é ponto viável, ou seja:

gi(x(&*, r)) > O, i = m* + 1, ..., m

Vamos supor por absurdo que gi(x(0*, r)) < O para todos i, i = m*+l, ..., m.

Ligando x(a*, T ) a um ponto ótimo qualquer x* haverá na fronteira um ponto X*, *

também ótimo, pois viável, com gi(x*) = O e X i = O para algum i no intervalo

m* + 1 1 i 1 m violando a hipótese de complementariedade estrita C7

Devemos neste ponto tecer alguns comentários sobre a abrangência do teorema

VI.2. A existência de mais de um ponto de rnínimo com a vigência da condição de

complementariedade estrita C7 em todo ponto de mínimo basicamente implica em um

espaço solução ilimitado. Ainda nos casos em que haja mais de um ponto de mínimo

mas onde o espaço solução seja limitado (e portanto sem condição C7), é possível

resolver o problema (111.1) em uma única iteração. Essa situação se configuia, por

exemplo, no caso de um problema de programação linear onde uma faceta (limitada)

seja solução.

Sendo x(a*, r) qualquer ponto de mínimo da função objetivo modificada

F(x, a*, r) as equações (VI.5) continuarão sendo válidas. Todavia, como vimos

acima, a dificuldade decorre da event.ua1 não observância das desigualdades

gi(x(a*, r)) > O, i = m*+1, ..., m pelas restrições não ativas, ou seja, x(a*, r) pode

ser não viável.

Essa dificuldade pode ser facilmente superada da seguinte maneira.

Primeiramente vamos associar às restrições não ativas os parâmetros:

sendo y um valor positivo qualquer.

Para as restrições ativas, como antes, mantemos o valor a dado pela expressão

(VI.l), enquanto que Ti, i = 1, ..., m* podem assumir qualquer valor positivo. O

vetor dos ângulos da penalidade hiperbólica 2 e o vetor dos parâmetros de

penalidade 7 resultantes dessas modificações serão, então, iguais a:

Dessa forma se tivermos um ponto v que satisfaça as três relações:

gi(v) < O para algum i = m* + 1, ..., m

teremos pela propriedade P7

e, definitivamente, o ponto v não pode ser ótimo.

O esquema recém-mostrado viabiliza a manutenção do efeito de penalização a

violações a qualquer restrição não ativa enquanto o efeito é nulo para pontos que

satisfaçam a essas restrições. Por isso, se configura numa atrativa estratégia para se

tratar computacionalmente as restrições consideradas redundantes.

Resolução Ideal do Problema Não Convexo

Para o caso convexo a função de Hestenes-Powell apresenta propriedade

idêntica à demonstrada pelos Teoremas 6.1. e 6.2, enquanto para o caso não convexo é

demonstrada a existência de um valor p tal que x* é um ponto de mínimo de

L,(x, A*, p) para todo p > i. Para a função Lagrangeana Hiperbólica podemos a

seguir demonstrar resultado equivalente.

Teorema 6.3

Seja x* um ponto de inínimo local de um problema (111.1) não-linear e seja A*

os multiplicadores de Lagrange correspondentes. Se forem observadas as condições de

regularidade C6 e de complementariedade estrita C7, então existirá um valor 7 tal

que para todo 0 < T 1 7, X* será ponto de mínimo do Lagrangeano Hiperbólico

L H ( ~ J * , d .

Demonstração

Sem perda de generalidade vamos assumir um valor de parâmetro T constante

para todas as restrições.

Primeiramente deve ser lembrado, como utilizado no Teorema 6.1, que:

Todavia para que o ponto x* seja mínimo é necessário que a matriz hessima

V2F(x*,a*, T) seja semi-definida positiva

Colocando a expressão acima sob uma forma matricial mais compacta e *

observando que no ponto (x*, A*) é observada a relação A i gi(x*) = O, i = 1, ..., m,

obtemos:

onde D é matriz diagonal (m x m)

sendo as primeiras m* componeiites estritamente positivas pela condição de

complement ariedade estrit a C7.

Como x* é por hipótese ponto de mínimo a condição necessária de segunda

ordem estabelece que a matriz Hessiana Lagrangeana V2L(x*, A*) é serni-definida

positiva no espaço tangente às restrições gi(x*) , i = 1, . . . , m* ou seja:

yT82~(x*, A*) y )_ o (VI. 6 )

para todo y tal que

y T ~ g i ( ~ * ) = O, i = 1, ..., m* (VI. 7)

De outro lado, a matriz Vg(x*) D V ~ ( X * ) ~ é definida positiva no espaço gerado

pelas restrições Vgi(x*), i = 1, ..., m*, ou seja, é definida positiva no espaço normal às

restrições gi(x*)), i = 1, ..., m*.

Como os termos da diagonal da matriz D são inversamente proporcionais a r,

existirá um 7 tal que para todo T 5 7 a soma das duas matrizes será semi-definida

positiva, como a seguir é detalhado passo a passo.

Seja z um vetor qualquer pertencente ao P. Vamos decompor z como a soma

de duas componentes: uma situada no espaço tangente e outra no espaço normal às

restrições gi(x*) = O, i = 1, ..., m*

onde Vga(x*) é matriz (n, in*) formada pelos gradientes das restrições ativas.

Vamos então calcular a expressão da forma quadrática com a matriz hessiana

do lagrangeano hiperbólico no ponto (x*, A*) eliminando os argumentos para

simplificar a notação:

Usando a equação (VI.7), obtemos:

Eliminando os termos nulos derivados da diagonal inferior da matriz D

* * onde A = diag(A,, ..., A,)

T Chamando AVga Vgau = w

Considerando que as restrições ativas são linearmente independentes no ponto

x* pela condição de regularidade C6, sabemos que se u # O implica em w # O.

Assim para valores pequenos de r, será válida a relação:

pois se u = O a relação (VI.6) prevalece e se u # O haverá um valor 7 tal que para 1 todo O 5 r 5 7 a parcela - 11 w1I2 justificará a desigualdade. r 2

Teoria de Ponto de Sela

Para o caso do problema convexo é conliecido que o ponto ótimo do problema

restrito corresponde ao ponto de sela da função lagraiigeana. Emiilados nesse

resultado, desenvolveremos nesta seção uma Teoria de Ponto de Sela. Para isso

adotaremos uma seqüência de teoremas semelhante a apresentada por ARRO W,

GOULD e HOWE (1973).

Tem-se como objetivo a caracterização do ponto ótimo do problema de

programação não linear sujeito a restrições de desigualdade (111.1)) em princípio não

convexo, como um ponto de sela da função lagrangeana hiperbólica.

Como registra ROCKAFELLAR (1974)) essa abordagem de ponto de sela

torna mais clara a estrutura dual subjacente ao problema (que é apresentado na

próxima seção).

O primeiro teorema mostra que, sob certas condiçóes,a função LH(x, h, r ) é

localmente convexa para pontos (x,h) próximos a (x*, h*) e portanto apresenta um

ponto de mínimo.

Teorema 6.4

Se adicionalmente às condições do Teorema 6.3 for obedecida a condição

suficiente de 2a. ordem C9 e se o valor do parâinetro T for suficientemente pequeno,

T < 7, então a matriz hessiana da função lagrangeana hiperbólica V2LH(x, A, T) é

definida positiva para qualquer par (x, h) suficientemente perto de (x*, A*).

Demonstração

Na seqüência da demonstração do Teorema 6.3 foi mostrado que V2LH(x*,h*,r)

é semi-definida positiva se T for suficientemente pequeno, ou seja, O < T 5 7.

De outro lado, a condição suficiente de 2a. ordem estabelece que

yTvL(x*, A*) y > o

para todo y tal que yT~gi(x*) = O, i = 1, ..., m*.

Usando novamente o mesmo raciocínio utilizado no Teorema 6.3 a partir da

equação V1.8, o estabelecimento dessa última condição, implica que V2LH(x*,X*,r*)

seja definida positiva para valores de T pequenos, O < T < 7.

Finalmente pela continuidade de todas funções envolvidas, V2LH(x,A,~) será

definida positiva para qualquer par (x,A) suficientemente próximo à solução (x*,A*).

O próximo teorema mostra a existência de uin ponto de sela da função

Lagrangeana Hiperbólica no par ótimo (x* ,A*).

Teorema 6.5

Se forem atendidas as condições especificadas para o Teorema 6.3 e se o

parâmetro T for suficientemente pequeno, O < T 5 7, então:

para todo x em alguma vizinhança B(x*, 6) de x* e para todo X >_ 0.

Demonstração

Pelo fato de x* ser ponto de mínimo de F(x,X*,r), como demonstrado pelo

Teorema 6.3, implica na existência de uma vizinhança B(x*,S) em que é válida a

primeira desigualdade.

* Desde que gi(x*) = O para i = 1, ..., m* e que A i = O para i = m*+l, ..., m,

pelas propriedades P5 e P8 da função penalidade, temos

(VI. 10)

Como gi(x*) > O , i = m*+l, ..., m pela propriedade P5 da função

penalidade, implica que:

Levando a desigualdade acima na expressão (VI.lO) e usando (VI.9) podemos

obter o resultado:

Inversamente, se tivermos um ponto de sela na função lagrangeana hiperbólica,

esse ponto de sela é solução local do problema de otimização (111.1) que estamos

considerando.

Teorema 6.6

Se a função objetivo modificada F(x,X,r) tiver um ponto de sela no ponto

(x*,,X*) sendo x pertencente a um conjunto convexo B(x*,,S) e X > O então x* será

solução do problema (111.1) sujeito adicionalmente à restrição x E B(x*, 6).

Demonstração

A hipótese fundamental do teorema estabelece que

(VI. 11)

para todos pontos x E B(x*,S) e X > 0.

Fazendo a transposição na desigualdade do lado esquerdo obtemos

diretamente:

Vamos definir:

Se pudermos provar que x* é um ponto viável e que A é não positivo para Qx

na interseção de B(x*, 6) com o conjunto viável o result ado será provado.

Analisando a desigualdade do lado direito na expressão (VI.ll) obtemos:

Como o lado direito na desigualdade acima é urna soma de funções de variáveis

independentes, essa desigualdade se estabelece para todo X 2 O se e somente se

for válido para todo X i L O , i = 1, ..., m.

Essas desigualdades só podem ser verdadeiras se

em vista da propriedade P3 da função penalidade liiperbólica, ou então se

(VI. 15)

em vista da propriedade P5 da função penalidade hiperbólica.

Em qualquer das duas alterilativas gi(x*) 2 0, i = 1, ..., m, ou seja, x* é um

ponto viável para o problema (111.1).

Na medida que as desigualdades (111.14) são válidas para Q X i 2 0, serão válidas

para o valor A i = O

* P(gi(x*), Ai, T) 2 P(gi(x*), 0, 7) = r (VI. 17)

Pela propriedade P5 da função penalidade, como gi(x*) 2 O , i = 1, . . . , m

Comparando as desigualdades (VI. 17) e (VI. l8), concluímos que:

As únicas possibilidades para a ocorrêiicia de (VI.19) são as situações

caracterizadas em (VI.15) e (VI.16). Dessa forma a condição de folga complementar é *

obedecida, ou seja, A i gi(x*) = O, i = 1, ..., m.

Substituindo (VI.19) em (VI.13) obtemos:

m A = C (P(gi(x), A*, T) - T)

i = l

Considerando uma vez mais a 'propriedade P5 da função penalidade

hiperbólica, para qualquer x pertencente à interseção de B(x*, 6) e o conjunto ativo

(gi(x) L O), é obedecida a desigualdade P(gi(x), A*, r) ( r e dessa forma A < 0.

Finalmente, levando esta última desigualdade em (VI. 12) obtemos a relação

procurada:

Função Dual

Como uma conseqüência direta e complementar à teoria de ponto de sela

apresentada na seção anterior, desenvolveremos a seguir a teoria de dualidade

correspondente.

Para valores X E Rm próximos ao ponto A* vamos definir a seguinte função

onde é entendido que o ponto de mínimo é tomado localmente em relação a x perto de

Devido a especular ligação existente entre a função QT(h) e o problema (III.l),

como a seguir mostrado, a essa função é designado o nome: função dual.

Gradiente da Função Dual

Chamando um ponto de iníilimo da função objetivo modificada de x(X)

podemos reescrever a função dual como:

Diferenciando em relação a A, a componente i do gradiente da função dual

assume o valor:

Como x(X) é ponto de ótimo, necessariamente deve ser obedecida a igualdade:

e portanto:

Matriz Hessiana da Função Dual

Vamos calcular o elemento ij da matriz hessiana V20r(X)

Eliminando o subescrito T para simplicar um pouco a notação:

onde o termo Sij representa o delta de Kronecker:

Sij = 1 se i = j

Reagrupando podemos chegar à expressão:

Para calcular o valor do termo na expressáo acima, vamos fazer uso da d X j

condição necessária de la. ordem necessariamente obedecida pelo ponto x ( X )

ou seja:

Diferenciando em relação a Xj, obtemos:

Simplificando, chegamos à expressão:

Substituindo a expressão acima em (VI.21), obtemos:

Pelo Teorema 6.3, x* é ponto de mínimo da função F(x,A*,r) para todo r ( 7,

ou seja, x(X*) = x*. Assim, no ponto A* podemos usar a condição de folga *

complementar A i gi(x*) = 0, i = 1, ..., m para se obter uma expressão da hessiana

mais simples:

* + ~ i ( x * ) bij V2@ij (A*) = - vgT(x*) [VF(x*, A*, r)]-' Vgj (X ) r

Sendo as primeiras m* restrições ativas, ou seja,

a matriz hessiana no ponto de ótimo assume a configuração:

-vTgi(X*) [V'F(X*, X*,r)]-'Vgj (x*) : -vTg i (x*) [ V F (x* , A* , ~)]-'Vgj (x*)

( i , j) E I* ~ E I * , j ~ ( 1 - I * )

(VI. 22)

onde I = (1, ..., m) e I* = {I, ..., in*)

Essa matriz tem algumas características interessantes. Considerando a

submatriz inferior à direita, de dimensão (m-m*, m-m*), podemos ver que para

valores pequenos de r, o termo na diagonal gS(x*)/r dominará completamente esta

submatriz. Assim os seus autovalores serão aproxiinadamente iguais a g;(x1)/r, e essa

submatriz será definida positiva para valores pequenos de r.

Analisando agora a primeira submatriz superior à esquerda de dimensão (m*,

m*) primeiramente, devemos notar que o termo V2F(x*,,X*,r) é uma matriz definida

positiva, conforme mostrado no Teorema 6.3. Usando urna notação matricial mais

compacta essa matriz pode ser escrita como -vTgTg.(x*) [v~F(x*,x*, r)]-1 Vg,(x*) , onde

Vg,(x*) é uma matriz (i1 x in*), cujas colunas são formadas pelos gradientes das

restrições ativas.

Supondo que seja obedecida a condição de regularidade C6, os gradientes

Vgi(x*), i = 1, ... , m* que formam a matriz Vga(x*) são linearmente independentes e,

por isso, devemos ter: Vga(x*) y = z # O se y # O. Assim:

vale dizer, essa submatriz é definida negativa.

Problema Dual

Vamos agora considerar o problema

Esse problema (VI.23) é denominado problema dual e está intimamente ligado

ao problema de miiiirnização (111.1) denominado problema priinal. O Teorema 6.7,

Teorema da Dualidade Local, a seguir apresentado, coloca de uma forma mais

explícita a ligação entre os dois problemas. Essa ligação, na verdade, já fora

estabelecida na seção anterior: Teoria do Ponto de Sela.

Preliminarmente vamos efetuar uma rápida análise do gradiente da função

$,(A) no ponto X = A*. Como sabemos, para valores T < 7, QT(X*) é resolvido no

ponto x = x*. Usando (VI.20) vemos que o gradiente neste ponto assume a expressão:

(VI. 24)

onde as primeiras componentes nulas correspondem às restrições ativas e as restantes

às não ativas.

A expressão (VI.24) nos indica que o ponto A* deve ser ponto de ótimo do

problema (111.1) pois as componentes de V@,(A*) diferentes de zero correspondem às

restrições do problema que estão no seu limite mínimo:

ou seja, não existe qualquer direção de decréscimo da função que seja viável.

Teorema Dualidade Local

Teorema 6.7

Suponhamos que o problema

rnin f(x)

tenha uma solução local num ponto x* com multiplicadores de Lagrange A*.

Suponhamos também que x* seja um ponto regular em relação às restrições

ativas, ou seja os vetores, Vgi(x*), i = 1, . . . , m* são linearmente independentes.

Suponhamos adicionalmente que T 5 7

Então, a função $r(A) apresenta um máximo local com respeito a A ) O no

ponto A*.

Demonstração

Primeiramente deve ser observado que $,(A*) é resolvido no ponto x = x*

porque

VF(x*) A*, r ) = 0

e porque V2F(x*) A*, r) é definida positiva, para todo r 5 7, logo x* é ponto de

mínimo.

Para provas que o ponto A* é um ponto de máximo vamos fazer uso das

condições suficientes de 2a. ordem. Estas estabelecem que para A*, ser um ponto de

máximo restrito do problema (VI.23) é suficiente que exista um vetor p E Rm tal que

e que a inatriz liessiana V2$T(A*) seja definida negativa no subespaço tangente as

restrições ativas em A*.

Como os gradientes das restrições são linearmente independentes em A*

podemos caracterizar o plano tangente R em termos dos gradientes das funções:

T R = {y ly ei = O, i = m*+l, ..., in)

onde ei são os vetores da base euclidiana do espaço iRm (iguais aos gradientes das

restrições ativas do problema dual).

Analisando a equação (V1.25~) podemos concluir que para obedecê-la no

presente caso, devemos necessariamente ter

tendo a primeira partição m* componentes e a segunda (m-m*) componentes.

É fácil ver que esse valor de p também atende às condições (VI.25a) e

(VI.25b).

Falta provar que V2@(A*) é definida negativa no espaço tangente. Pela análise

da definição do subespaço tangente (VI.26) podemos concluir que os vetores y que

satisfazem a essa especificação reduzem à forma

sendo o particionamento feito novamente com m* e (m-m*) componentes.

Usando desse particionameiito e fazendo uso da expressão (VI.22)

As colunas da matriz Vga(x*) são os gradientes das restrições ativas no ponto

x* que pela hipótese de regularidade CG são linearmente independentes. Dessa forma

temos que: Vga(x*) yl = O se e somente se yl = O. De outro lado sabemos pelo

teorema 6.3 que -zTv2~(x*, A*, r) z < O se r < 7 para qualquer z # O. Se esta

relação é válida, também será válida:

A prova é completa, bastando em (VI.28) fazer z = Vga(x*) yi.

Corolário do Teorema 6.7:

$T(A*) = f(x*) + inr

Demonstração

Usando o resultado do Teorema 6.7 anterior:

Qr(A*) = min F(x,A*,r) = F(x*,A*,r) = X

pelas propriedades P3 e P5 da função penalidade hiperbólica.

Pelo resultado mostrado no corolário acima, é fácil observar que

alternativamente à expressão (IV.8) poderíamos definir a função penalidade como:

produzindo, assim, a igualdade entre os valores ótimos do problema prima1 e do dual

(o que seria mais consentâneo com as definições usuais de funções duais !).

Resolução do Problema

Demonstrada a equivalência entre o problema (111.1) e o problema dual

(VI.23), abordaremos como podemos usar essa propriedade para a resolução do

problema original.

Obviamente, ao se usar na prática a função dual lagrangeana hiperbólica para

resolver o problema de programação não-linear (III.l), os multiplicadores de

Lagrange ótimos A* raramente são conliecidos a prioii. Dessa forma a função

LH(x,A,7) deve ser operada de alguma maneira sistemática a fim de encontrar valores

consistentes x* e A*, que satisfaçam às condições de otimalidade.

Como o condicionamento da matriz hessiana se degenera quando r diminui,

conforme demonstrado no Teorema 3.4, o ideal, segundo esse critério, seria tentar *

determinar os valores X i , i = 1, . .., m com valores ri os mais altos possíveis.

Similarmente a outros métodos baseados em lagrangeanos aumentados existem

muitas alternativas de se proceder nesse sentido. Uma estrutura muito comum aos

métodos de multiplicadores é a dada pelo algoritmo A2.

Algoritmo A2

1) Façak=O.

Tome valores iniciais xo, A 1 > O e r1 > 0.

2) Faça k = k + 1

C = 1

3) Resolva o problema de minimização sem restrições

min L,(x,Xk,rk) X

a partir do ponto inicial xk-1 obtendo um ponto ótimo intermediário xk.

4) Teste se o acréscimo do valor da função dual corrigida foi suficiente:

Se

[(L (xk,Xk, r k ) - mrk) - (LH(xk-1,Xk-1, rk-1) - inrk- i ) ] = H

sendo o E (O , 112)

faça:

e volte ao passo 3.

Regra de Parada: Se o pai (xk, Xk) é aceitável como ótimo: pare.

Atualização dos iniiltiplicadores de Lagraiige:

Atualização dos paiâmetros de penalização r:

Vá para o passo 2.

No Algoritmo A2, similarmente aos métodos de penalidade, a obtenção da

solução do problema (111.1) será efetuada através da resolução de uma seqüência de

minimizações irrestritas no passo 3. É suposto implicitamente que os valores

fornecidos no passo 1 (xo, Xl , 71) sejam tais que realmente produzam um ponto de

mínimo. Ademais, é suposto que o algoritmo de ininimização irrestrita possua todas

as salvaguardas para detecção de uma solução ilimitada.

Ao minimizarmos a função objetivo L,(x,Ak,rk) obtemos um ponto de mínimo

intermediário xk = x(Xk, r k ) em que

Entretanto as condições de otimalidade requerem que tenhamos

VL(xk, Xk) = O em vez da condição acima obtida. A idéia subjacente ao processo de

atualização dos multiplicadores de Lagrange dada no passo 6, pode ser sintetizada da

seguinte maneira: a fim de satisfazer à condição VL(xk,.) = O o procedimento adotado

pelo algoritmo consiste em reajustar o vetor de multiplicadores X de sorte que o novo

VL(xk, Ai<+') iguale o antigo VLH(xk, Ak, rk). Vale dizer, os multiplicadores são

atualizados de maneira a se obter:

VL(xk, A'+') = VL,(xk, A', r k ) = 0

A regra de atualização que satisfaz a equação acima é obtida imediatamente

pela comparação da expressão do gradiente do Lagrangeano VL com a expressão de

VL, dando origem à expressão (VI.29). (Na literatura essa atualização é conhecida

como de la. ordem por ser equivalente a um desenvolvimento até o 10. termo da série

de Taylor) .

Deve ser observado, como seria esperado, que essa expresão (VI.29) é

exatamente a estimativa dos multiplicadores de Lagrange dada pela expressão (111.12)

que fora obtida no desenvolvimento do método da penalização hipeibólica

apresentada no Capítulo I11 (basta fazer a substituição de X por a).

Uma característica importante da atualização dada por (VI.29) é que produz

urna direção de variação do vetor "A" que é uma direção de acréscimo da função dual

$&A). Isso pode ser facilmente visto fazendo uso da série de Taylor até o 10. termo:

Sendo o ponto X k não ótimo, i10 soinatório acima haverá pelo menos um termo

positivo (por ser produto de dois ilúmeros negativos) e por isso:

$ (Xk+l) - @ (Xk) > O + O((AXk)2) r r

ou seja, AXk é uina direção de acréscimo da função Qr(X).

Outra característica da atualização (VI.29) é que se Xk for ponto viável do

problema dual, Xk+l também será ponto viável, ou seja, se Xk >_ O implica que X k + l > 0.

Essa conclusão é imediata, pois basta observar que na expressão (VI.29) sempre é

mantida a desigualdade:

Xkg(xk) < I para T > 0

J ( Xkg (xk))2+ 72

Como no passo 1 foi tomado o valor inicial X l > O, o algoritino só gera pontos

duais viáveis.

O passo 4 do algoritmo tem por objetivo garantir permanentemente um

acréscimo suficiente da fiinção objetivo dual (corrigida) segundo um esquema tipo

Arrnijo (vide por exemplo, POLAM (1971)). A racionalidade do teste se fundamenta

no corolário do Teorema 6.7, de onde podemos derivar a relação

max [$T(A) - mr] = $T(X*) - m r = f(x*) X

válida para todo T 5 7. Assim, existe um valor limitante superior f(x*) independente

do valor de r. O teste garante um acréscimo suficiente na direção desse valor.

O passo 7 do algoritmo provoca um decréscimo constante dos parâmetros Ti,

i = 1, ..., m.

Antes de analisarmos mais detalhadaineiite o algoritmo A2, podemos notar de

início duas desvantagens:

- os parâmetros de penalidade são diminuidos até zero, perdurando destarte o

mau condicionainento da hessiana estudado no Capítulo 111;

- o uso da busca de Armijo, sob o ponto de vista prático, pode ser considerado

absolutamente fora de propósito. A sua inclusão decorre unicamente de

exigências de natureza teórica para se provar convergência, conforme

comentado por BERTSEKAS (1982) em relação a outros algoritmos de

multiplicadores.

Teorema 6.8

Seja o par (x*, A*) a solução ótima de um problema de programação não linear

em que sejam obedecidas as condições de convexidade estrita C8', regularidade C6 e

complement ariedade estrit a C7.

Nessas condições a seqüência de pontos gerados pelo algoritmo A2 converge

para a solução (x*, A*).

Demonstração

Para se analisar a convergência do algoritmo A2 nos fundamentaremos

basicamente em dois pontos: compacidade e acréscimo suficiente.

Consideraremos inicialmente a hipótese de que o parâmetio q no passo 7 do

algoritmo assuma o valor q = 1, e dessa forma, rk+l = r k (constante).

A referida compacidade decorre do fato que cada uma das componentes do

vetor X se situa num intervalo limitado

O < X ~ < X . SUP

Ao valor da expressão (111.10) no desenvolviinento do Teorema 3.1 - -

corresponde um valor X O em vista da estreita ligação entre a e X estabelecida pela

equação (IV.4).

- - Se numa iteração k tivermos por acaso Xf > A o teremos certamente gi(xk) > O

k + l e, por isso, a atualização (VI.29) nos fornecerá X i < A!.

- - Se A! < X O pode ocorrer gi(xk) < O, mas a forma de atualização (V1.29) nos

k+l garante que A i < 2~:.

De outro lado, no limite inferior, a atualização (VI.29) sempre nos garante que

A$ 2 o.

Assim, temos o valor X f situado no intervalo:

Vimos, então, que a sequência cle pontos gerada pelo algoritmo se situa num

conjunto compacto e, dessa forma, todo ponto de acumulação dessa sequência

pertence a esse conjunto compacto. Resta provar que qualquer um desses pontos de

acumulação é solução do problema.

Analisando o passo 4 do algoritmo, consideraremos primeiramente a hipótese

da sequência de direções AXk = X k + l - Xk representar uma direção de acréscimo de

QT(X) em todas iterações. Nesta hipótese o ângulo formado entre as direções AAk e

@,(Ai<) deve ser sempre menor que um ângulo P, sendo O < ,O < 7r/2, ou seja, deve ser

observada a relação:

sendo p > 0.

Nessas condições, o uso da busca de Armijo no passo 4 garante um acréscimo

suficiente a cada iteração do algoritmo e, como provado em BERTSEKAS (1982);

página 24, cada ponto de acumulação da sequência é um ponto crítico em que é

observada a relação

Pela análise da expressão (VI.20) de V@,(X), podemos concluir que a única

hipótese para que o gradiente da função dual se anule é que a correspondente

sequência {xk) gerada pelo algoritmo convirja para um valor 2 em que

- - No par (x, A) pela condição neces&xia de la. ordem deve ser obedecida a

relação:

VF(2, X, r) = 0

de onde, levando em consideração a expressão (VI.2), podemos facilmente derivar:

Vf(2) - C X i Vgi(2) = O (VI.32) i

Ademais, pela forma de atualização (V1.29) é garantida a desigualdade X i > 0.

Verificamos dessa forma que o par (x, X) satisfaz as condições necessárias de

primeira ordem de Karush-Kuhn-Tucker . Ademais, considerando as hipóteses

especificadas no enunciado do teorema de convexidade, regularidade e

complementariedade estrita devemos ter (X, X) = (x*, A*) solução do problema.

Alternativamente à hipótese (VI.31)) considereinos que precoceinente as duas

direções AAk e VOT(Ak) se tornem ortogoiiais, ou seja:

Como vimos anteriormente cada componente AAF Vi @,(Ak) > O e, por isso,

devemos ter:

ou seja:

Para a ocorrência da convergência acima duas hipóteses devem ser

consideradas:

Analisando a expressão VI.29 podemos facilmente ver que em ambas hipóteses

{AXk) + O, ou seja, a seqüência {Xk) + X. A correspondente sequência {xk), pela

convexidade estrita, deve coiivergir a um valor x. Ademais, por VI.2 podemos

concluir que a equação VI.32 também é obedecida.

k Se X i + O devemos ter gi(xk) -t g(k) > 0, desde que se por acaso numa iteração

k+l 1< tivermos gi(xk) < O, a regra de atualização determina A i > X f > 0, contrariando

completamente o sentido da convergência admitida por hipótese (A! + 0).

Em síntese, serão também obedecidas as coiidições de Karusli-Kuh-Tucltei e

pelas condições de convexidade, regularidade e complementariedade estrita teremos a

convergência {xk, Xk) -t (x*, A*) .

Consideremos agora o caso em que o parâmetro q do passo 7 do algoritmo seja

menor que 1 (q < 1) provocando destarte um decréscimo permanente do parâmetro

de penalidade r.

Em decorrência de (VI.30) a direção (Xk+l - Xk) produzida pela atualização do

passo 6 do algoritmo é uma direção de acréscimo de [$Tk(X) - rk] num ponto Xk não

ótimo. Havendo a redução de r k para r k t l a direção ( X k + l - Xk) continua a ser uma

direção de acréscimo de [QTk+,(X) - r k + l ] em relação a [QTk(Xk) - r k ] por duas razões.

Primeiramente a redução do parâinetro r, por si só, já representa um aumento

da função ( ( I ~ ( A ~ ) - T).

Ademais, sendo verdadeira a desigualdade (VI.31) teremos por uma questão de

continuidade uma vizinhança B ( T ~ , 6) tal que

P ( A ) . ( A ) > - para V T E B(+, 6)

2

Dessa forma, a busca de Armijo executada no passo 4 certamente encontrará

um valor ~ k + l dentro de B ( T ~ , 6) que produzirá um acréscimo suficiente que

viabilizará, como mostrado antes, a convergência do algoritino.

Sendo verdadeira a desigualdade (VI.33) para q < 1, exatamente como visto

no caso anterior, implica na convergência {AAk) + O que, por sua vez, determina a

observância da equação (VI.32) e a convergência da seqiiência {xk, Xk) para (x*, A*).

Taxa de Convergência

Analisaremos o comportamento da convergência segundo um esquema similar

ao adotado por McCORMICH e SOFEL (1988) considerando as duas opções

relevantes: q < 1 e q = 1.

* Se {A:) + A i > O necessariamente deve ser observada a convergência:

No primeiro caso, q < 1, o parâmetro de penalidade r sofre um decréscimo a

cada iteração em direção a zero. Sendo assim, se a restrição for ativa, ou seja, se *

X i > O e gi(x*) = 0, devemos ter:

(VI. 34)

Da expressão acima podemos concluir que a convergência da seqüência

{Xtgi(xk))} -i O deve ser muito mais rápida do que { rk} + O. Fazendo uso da notação

de Hardy podemos escrever:

ou seja, o termo XYgi(xk) é de uma ordem de grandeza inferior a r k , o que caracteriza

uma convergência superlinear com o parâmetro r. A equação acima implica em:

* Se a restrição for não ativa, ou seja; se A i = O e gi(xk) > O , e se q < 1, ou

seja, r k + 0, pela análise da expressão (VI.29) podemos concluir que pode haver a *

convergência {A;} + X i = O, i = m*+l, ..., m, mesmo no caso em que o limite na

expressão (VI.34) tenda a 1. Essa hipótese equivale à convergência r k + O ser mais

rápida do que a convergência X t gi(xk) + 0, quando então teríamos:

Embora sendo uma convergência muito baixa, não faz qualquer diferença em

termos computacionais, devido à propriedade P7 da função penalidade hiperbólica, já

que gi(x*) > O, i = in*+l, ..., m e r k -t 0.

No Capítulo I11 vimos que a convergência do algoritmo Al, caracterizado na

2a. fase pelo ângulo a fixo, é linear com r k , conforme a equação (111.15).

Estabelecendo uma comparação, o resultado (VI. 35) mostra uma nítida superioridade

do algoritmo A2 sobre o A1 no que se concerne a taxa de convergência. Todavia,

como r k -t O perduram as dificuldades provocadas pela degenerescência da matriz

hessiana da função objetivo modificada conforme anteriormente analisado.

Se alternativamente mantivermos o decréscimo dos parâmetros Ti, i = 1, ..., m

a um valor mínimo rmin, estratégia usualmente adotada como por exemplo PIERRE e

LOWE (1975), não teríamos de toda sorte superado todas dificuldades. Essa opção

tem uma equivalência ao caso abaixo considerado.

No segundo caso, q = 1, o parâmetro penalidade assume um valor constante

em todas iterações: r k = 71 para Vk. A convergência implica que tenhamos:

Para valores grandes de k, a atualização dos multiplicadores se aproxima de:

* Para as restrições não ativas, X i = O, i = m*+l, ..., m, teríamos próximo à

solução gi(xk) gi(x*).

Fazendo Bi = gi(x*)/~' chegamos a:

o que caracteriza uma convergêilcia excessivamente lenta próxima à solução.

Exemplo Ilustrativo do Uso do Algoritmo A2

A fim de ilustrar o desempenlio computacional do Algoritmo A2

apresentaremos os resultados obtidos na resolução de um problema de grande porte.

Trata-se do problema 23 descrito em HIMMELBLAU (1972) com 100

variáveis e 112 restrições. Esse problema, formulado originalmente por Richard Day

da USAF, é um exemplo clássico na literatura de problema de programação

não-linear de difícil resoliição, conforme regist rado, por exemplo, por FAN, SARK AS

e LASDON (1985).

A especificação do problema e os resultados são apresentados no Anexo 2.

Resolução do Problema Linear

Uma importante característica do método lagrangeano hiperbólico especificado

pelo algoritmo A2 é que sob a especial condição da correta identificação do conjunto

ativo resolve o problema linear não degenerado dual em uma única iteração.

Teorema 6.9

Seja o problema linear:

T min c x

s.a. Ax >_ b

em que c é um vetor com n componentes, A é matriz (m, n) e b é um vetor com m

componentes.

Suponhamos que o problema (VI.36) tenha solução finita e que a solução dual

seja não degenerada.

Suponhamos adicionalmente que numa iteração k do algoritmo A2 tenha sido

identificado o correto conjunto de restrições ativas com a conseqüente eliminação das

restrições não ativas, ou seja:

Atendidas as hipóteses especificadas, o problema linear é resolvido em mais

uma única iteração.

Demonstração

Pelas condições necessárias de Karush-Kuhn-Tucker devemos ter na solução

ótima:

Ao resolvermos o problema irrestrito k, obteremos pela condição necessária de

la . ordem:

Considerando a atualização dada pela fórmula (VI.29) do algoritino A2 a

expressão acima equivale a:

ou usando, a notação particular do problema linear (VI.36):

Comparando (VI. 39) com (VIXi'), obtemos:

onde o índice a que se refere às restrições ativas e o índice n se refere às restrições não

ativas.

Levando em consideração a hipótese de não degenerescência dual, a matriz A:

deve ter rank m* e dest arte devemos ter:

Assim ao resolvermos o problema k + 1, o ponto ótimo obtido x k + l deverá

reproduzir os valores ótimos para os niultiplicadores na iteração seguinte:

Considerando a atualização (VI.29) adotada, a ocorrência de (VI.40) implica

em:

ou seja, o ponto x k + l resolve o problema linear (VI.36).

Resolução do Problema Convexo

Consideremos o caso particular em que o problema não linear (111.1) é

convexo, ou seja, a função objetivo é função convexa e as restrições são funções

côncavas.

Tentaremos provar para esse caso particular, que o passo dado pela

atualização (V1.29) sempre provoca um acréscimo do valor da função dual OT(X) para

qualquer T finito. Para isso, usaremos o desenvolvimento de Taylor para derivar um

problema aproximado e, através de sua resolução, encontrar uma relação de acréscimo

do problema dual.

Teorema 6.10

Para o problema convexo, se o conjunto de restrições ativas for corretamente

estabelecido, se o número de restrições ativas m* for igual à dimensão do espaço n, se

os gradientes dessas restrições forem linearmente independentes em todo espaço Rn,

então a atualização dos multiplicadores através da expressão (VI.29) provoca um

aumento do valor da função dual $ T ( X ) para um valor do parâmetro da penalidade T

qualquer.

Demonstração

Sem perda de generalidade fixaremos Ti = r (constante), i = 1, .. . , m em todas

iterações.

Consideraremos preliminarmente a resolução do problema irrestrito na

iteração k destinado à miiiimização da fmção:

Consideraremos o desenvolviineiito das fuiições f(x) e gi(x), i = 1, ... , m em

séries de Taylor no entorno do ponto de mínimo xk encontrado nessa iteração k.

Levando em conta a natureza convexa do problema podemos escrever:

f (x) 2 f (xk) + vTf (Xk) (X-Xk) = f (x)

T gi(x) < gi(xk) + 'Vgi(xk)(x-xk) = g i ( ~ ) para W = 1, ..., m

Enfatizamos que as funções T(x) e gi(x), i = i, . . . , m são definidas

estritamente em torno do ponto xk, que é portanto imutável.

Como P(x,X,r) é função decrescente (propriedade P8) e devido à desigualdade

(VI.42):

Considerando (VI.41) e (VI.43), podemos escrever:

A desigualdade acima é válida para qualquer ponto x E IR11 em particular para

o ponto de mínimo iilterinediário xk+l:

Se conseguirmos provar que @(Xk+l) > @(Xk) o teorema também estará

provado.

A hipótese que o conjunto ativo tenha sido determinado significa que

A atualização dada pela expressão (VI.29) implica que

Analisando o problema min F(x ,x~+~,T) , onde a função F é definida em

(VI.44), podemos ver que esse problema corresponde à função objetivo modificada

associada a X k t l do problema linear

s.a.gi(x) 20 , i = 1, ..., m (VI. 48)

Como demonstrado pelo Teorema 6.9 a regra de atualização (VI.29) do

parâinetro X permite a resolução do problema linear (VI.48) em uma única iteração

desde que o coiijuiito ativo seja corretamente determinado, vale dizer, desde que

equações (VI.46) sejam válidas. Dessa forma deveremos ter

Usando (VI.42), temos

(VI.50)

As igualdades (VI.50) coiistitiiein um sistema de m* equações lineares com n

incógnitas representadas pelo vetor &+i. Pela hipótese que o número de restrições

ativas é igual à dimensão do espaço temos no presente caso m* = n. Assim, (VI.50)

representa um sistema linear (n x n).

Adotando a notação matricial onde o índice "a" se refere uizicamente às

restrições ativas, o sistema (VI.50) pode ser colocado sob a forma

Como por hipótese os gradientes das restrições ativas são linearmente

independentes no Rn, o sistema (VI.51) tem como solução:

Considerando as igualdades (VI.46) e (VI.49), pelas propriedades P3 e P5 da

função penalidade, temos

Substituindo (VI.41), (VI.44)) (VI.52) e (VI.53) em (VI.45), obtemos:

$ ( ~ k + l ) = F ( X k + l , ~ k + l , ~ ) = f(xk) + vTf(xk)(-vgi'(xk) ga(xk)) + m r

Vamos agora considerar o valor da função dual no passo k:

@(Xk) = f(xk) + P(g(xk),Xk,r)

Ademais pela coiidição necessária de otiinalidade e levando em consideração

(VI.46)

Usando (VI.54) e (VI.55) e levando em consideração (VI.46) podemos escrever:

Substituindo o valor de Vf(xk) pela expressão (VI.56) e adotando uma notação

matricial simplificada em que são eliminados os superescritos, pois todas as funções

envolvidas são avaliadas no passo k

T onde e = (1, . .. , 1) com dimensão (m* x 1.))

Fazendo as simplificações imediatas (VI.58) se transforina em:

$(xk+l) - Q ( x ~ ) = eT A ~ G ~ ( A ~ G Z + r21)-'J2 e + m*r - eT(i \2~2 + 721) 112

Nesse último somatório cada uma das parcelas é maior ou igual que - r, mas

pelo menos uma delas é maior que - r. (Se todas parcelas fossem iguais a - r,

necessariamente deveríamos ter Akgi(xk) = O, i = 1, . . . , m* e estaríamos no ótimo).

Dessa forma podemos concluir de (VI.59) que

No teorema anterior foi feita a hipótese de que m* = n. Todavia, podemos

estender os resultados do Teorema 6.10 ao caso em que in* < 11.

O sistema linear (VI.50) seria composto por m* equações e n incógnitas, sendo

m* < n. Para resolvê-lo poderíamos adotar a solução de mínima norma usando a

pseudo-inversa no lugar de vTg(xk), vide equação (VI.52). Essa a única diferença, as

demais passagens seriam as mesmas e continuariam válidas.

O Teorema 6.10 nos sugere uma simplificação elementar do algoritmo A2

através da simples eliminação da busca de Arinijo efetuada no passo 4. Dessa forma é

eliminada a principal desvantagem do algoritmo A2.

Algoritmo A3

Faça k = 0.

Tome valores iniciais xo, A 1 > O e r1 > 0.

Resolva o problema de rniniinização sem restrições

min LH(x,Xk,rk) X

a partir do ponto inicial xk-1 obtendo um ponto ótimo intermediário xk.

Regra de parada: Se o par (xk, Xk) é aceitável como ótimo: pare.

Atualização dos multiplicadores de Lagrange:

6) Atualização dos parâmetros de penalização T:

Vá para o passo 2. H

Podemos ademais eliminar a desvaiitagein da degenerescência da matriz

hessiana provocada pelo decréscimo T + O bastando para isso fixar q = 1 no passo 6 do

algoritmo A3. Outra alternativa é substituir a atualização de ~k pela fórmula:

onde Tmin representa um valor mínimo para o parâmetro de penalidade.

Convergência para o Caso Convexo

Obedecidas as hipóteses especificadas no Teoiema 6.10 para o problema

convexo o algoritmo A3 converge para a solução do problema.

Demonstração

A prova se baseia na compacidade do conjunto de pontos gerados pelo

algoritmo, exatamente dentro da mesma construção lógica utilizada no Teorema 6.8,

e nos recentes resultados do Teorema 6.10.

Como a sequência de pontos gerada pelo algoritmo se situa num conjunto

compacto, todo ponto de acumulação dessa sequência pertence a esse conjunto

compacto. Seja um desses pontos de acumulação {Xk} + gerada pela subseqüência

k E K. A correspondente sequência de pontos { ~ k ) ~ ~ deve convergir a um valor 2. Por

simplicidade de notação será omitido o índice I< relativo à subseqüência considerada.

O Teorema 6.10 estabelece que a seqüência dos valores {@(Xk)) é

monotonamente crescente e que

Na observância de (VI.60) se ocorrer a alternativa:

teríamos a convergência para a solução ótima, já que seriam observadas as condições

de Karush-Kuhn-Tucker e o problema é convexo.

Negando a hipótese (VI.61) vamos supor que haja convergência para um ponto

inviável (primal) :

{A!} + X i = O

i E Ii C I = (1, ..., in}

{gi(xk)}+ g i (X) < O

Na sequência {gi(xk)}, i E Ii a cada vez que ocorrer gi(xk) < 0, a regra de k+l

atualização (VI.29) determina o aumento do multiplicador associado A i > A! > O,

k contrariando completamente o sentido da convergência admitida {A i) + O. (Na

verdade, o aumento desse Ai continua até que se obtenha gi(xk) > 0).

Admitida, de toda sorte, a convergência (VI.62) haveria infinitas mudanças de

sinal de gi(A), i C Ii e por (VI.59) a função cresceria ilimitadamente, contrariando a

hipótese de existência de solução finita.

O algoritmo A3 se configura como uma boa opção para a resolução do

problema uma vez tenha sido determinado o conjunto ativo. Perdura todavia a

questão dessa determinação: a grande dependência do algoritmo A3.

No Capítulo 111, vimos que o algoritino A1 além de produzir estimativas dos

inultiplicadores de Lagrange apresenta uma excelente robustez.

Apresentaremos a seguir o algoritino A4 que representa uma síntese desses

dois algoritmos. O objetivo perseguido é o estabelecimento de uma articulação

harmoniosa desses dois algoritinos de sorte a aproveitar a vantagem de ainbas.

Algoritmo A4

1. Estabelecimento dos parâinetros iniciais.

Faça k = 1 e forneça parâmnetros iniciais do método do algoritmo Al : d, 71,

bem como, o ponto inicial xo.

2. Minirnização da função penalizada.

Resolva o subproblema sem restrições

m rninF(x,olk,rk) = f(x) + C P ( g i ( ~ ) , ~ k , ~ k )

i= 1

a partir do ponto inicial xk-1 obtendo um ponto de ótimo xk.

3. Regra de proximidade.

Se xk estiver pióxiino da solução:

- registre a estimativa do conjunto ativo e passe ao passo 4.

Senão:

- atualize conveiiienteineiite (ak, ~ k ) seguiido OS passos 5 OU 7 do algoritino

A l , faça k = 1<+1 e volte ao passo 2.

4. Regra de parada

Se xk for aceitável como solução: pare.

5. Atualização dos inultiplicadores de Lagrange

Faça I< = k+ l e recalcule as estimativas dos multiplicadores de Lagrange, A!,

i = 1, . .. , m* segundo o passo 5 do algoiitmo A3.

6. Minirnização da função Lagrangeana Hipeibólica

Resolva o subproblema sem restrições

a partir do ponto inicial xk-1 obtendo como solução um ponto xk.

7. Verificação do acerto do conjunto ativo estimado

Se houver detecção de erro de especificação do conjunto ativo:

- diminua r, recupere convenientemente a, faça k = k + l e volte ao passo 2.

Senão:

- volte ao passo 4.

Vamos dar uma idéia geral do algoritmo antes de descrevê-lo passo a passo e

de fornecer especificações adicionais.

O algoritmo tem duas fases. A primeira, que poderia ser denominada de

1 1 aproximação", é composta pelos passos 1 a 3, onde basicamente é implementado o

algoritmo A l . A fase final "resolução", composta pelos passos 4 a 6, coriespondeiite à

participação do algoritmo A3. O passo 7 é um passo de controle em que

permanentemente é verificado a correção da especificação do conjunto ativo. O

algoritmo, embora usando a mesma função de penalização, é híbrido, pois adota

formas diferentes para manipulação dos parâmetros em suas duas fases.

OSBORNE e RYAN (1972) adotam um interessante esquema similar ao

algoritmo proposto. Inicialmente todas as restrições são trat adas por penalização,

gradativamente, aquelas identificadas como ativas são tratadas com a função de

PO WELL (1969) e as consideradas redundantes (não ativas) são eliminadas.

BEST, BRAUNINGER, RITTER e ROBINSON (1981) igualmente usam

numa primeira fase um algoritmo de penalização culminando com a utilização do

algoritmo estabelecido por ROBINSON (1972), que resolve uma seqüência de

problemas com restrições lineares e que possui convergência quadrática.

Na fase de "aproximação" se busca um ponto xk adequadamente próximo da

solução x*. Significa também estabelecer o conjunto ativo, bem como, obter uma boa

estimativa inicial dos multiplicadores de Lagrange, questão vital para o bom

desempenho dos métodos de multiplicadores (GILL e MURRAY (lgí'g)). O ideal é

que essa fase se realize com valores dos parâinetros T ainda altos, tal que os

problemas de convergência na resolução dos subproblemas tenham sua dimensão

reduzida. De outro lado, para se efetuar uma aproximação adequada é preciso

diminuir esses parâmetros. A administração desse conflito é o dilema principal que se

apresenta. Julgamos que deve ser, em princípio, priorizada uma aproximação

suficiente para fornecer uma correta definição do conjunto ativo. Os algoritmos do

tipo Lagrangeano Aumentado enfrentam aí sua principal dificuldade. Conforme

comentado por GILL, MURRAY, S AUNDERS e WRIGHT (1989) : "existem grandes

dificuldades em se desenvolver um esquema geral que garanta que um dado conjunto

de restrições seja corretamente o conjunto ativo". Como a determinação desse

conjunto é um problema de natureza combinatorial, a eliminação de ciclos de busca

deve ser perseguida.

Na fase de "Resolução" se busca o refinamento da solução. Nesta fase é

adotada a função Lagrangeana Hiperbólica que, em princípio, não enfrenta os

conhecidos problemas de mau condicionamento da hessiana pois vai trabalhar com

valores altos dos parâmetros T utilizados na última iteração da fase anterior.

A seguir é dada uma descrição mais detalhada da racionalidade e do objetivo

de cada passo do algoritmo.

O passo 1 refere-se à especificação dos dados iniciais necessários a penalização

hiperbólica (algoritmo A l ) .

O passo 2 realiza uma iteração da iniiiiinização da função objetivo modificada.

O passo 3, regra de proximidade, é o ponto em que se efetua a passagem entre

as duas fases. O sucesso do algoritino depende essencialmente do acerto da decisão

tomada nesse passo. Uina aproximação precoce com altos valores de r pode levar a

uma especificação errada do conjunto de restrições ativas, o que compromete o

encadeamento normal do algoritmo.

Inúmeras são as formas que se pode especificar a regra de proximidade. Uma

alternativa natural seria:

-Se IAxkI = Ixk-xk+i -t 1 '1 Ponto xk é próximo

Se o teste acima for positivo, a especificação do conjunto ativo pode seguir a

seguinte regra:

- se gi(xk) + O e A: + Xi > O : restrição gi(x) é considerada ativa

- se gi(xk) + Ri > O e Xf + O : restrição gi(x) é considerada redundante

- se qualquer restrição não atender aos dois critérios é rejeitada a hipótese de

proximidade.

Com a adoção dos testes para especificação do conjunto ativo, acima descritos,

implicitamente se espera que o problema satisfaça às condições de

complementariedade estrita (coildição C7) e regularidade (condição C6). Assim, duas

situações patológicas podem ocorrer em que, mesmo para valores pequenos de r, esses

critérios de classificação não seriam adequados. Seria o caso em que a condição de

complementariedade estrita não fosse verdadeira, quando deveria ocorrer gi(xk) + O e

X:+O para algum i. Seria, também, o caso ein que a condição de

ICarush-Kuhn-Tucker não fosse satisfeita com gi(xk) + O e A: + m para algum i.

Afinal, se xk for considerado próximo da solução nesse passo 3, passa-se para a

segunda fase do algoritmo dentro do eilfoque da função lagrangeana hiperbólica,

somente com o conjunto ativo. Caso contrário, faz-se a atualização de (L$, r k )

dentro do enfoque do algoritmo da penalização hiperbólica (algoritmo Al).

O passo 4 é a regra de parada, onde se testa se xk é aceitavelmente o ponto

ótimo.

O passo 5 efetua a atualização dos multiplicadores de Lagrange.

Uma alternativa natural é dada pela fórmula (VI.29). Como visto, essa forma

de correção é chamada de la. ordem. HESTENES (1969) e POWELL (1969) adotam

igualmente correções de la. ordem. Existe todavia a possibilidade de se adotar

atualizações de 2a. ordem decorrentes de um desenvolvimento do valor da função

objetivo modificada em termos de X até o 20. termo da série de Taylor. FLETCHER

(1981) registra que as duas formas de atualização são eficazes, mas atualizações de 2a.

ordem são um tanto mais eficientes.

O passo 6 simplesmente minimiza a função Lagrangeana Hiperbólica

trabalhando exclusivamente com o conjunto de restrições considerado ativo.

O passo 7 tem o propósito de salvaguardar os eventuais erros na definição do

conjunto ativo.

A idéia central desse passo é verificar o acerto feito na classificação das

restrições. Caso o erro seja identificado é efetuada a volta à fase inicial para se efetuar

urna aproximação mais precisa do ótimo.

Uma forma natural é controlar permanentemente a violação às restrições

consideradas não ativas.

Outra forma é adotar o seguinte teste derivado diretamente da expressão

(VI.59):

Se:

então a classificação vigente do conjunto ativo é rejeitada.

Se qualquer dos dois testes acima for positivo deve-se voltar à fase de

aproximação (passo 2). Preliminarmente é procedida a diminuição do parâmetro T

para forçar uma definição mais clara do conjunto ativo. Quanto a a, uma atualização

natural seria o resgate dos últimos valores utilizados na fase de aproximação.

Convergência do Algoritmo A4

Teorema 6.12

O algoritmo A4 converge para um ponto satisfazendo as condições de

Karusl-i-ICuhn-Tuclter .

Demonstração

Se o algoritmo ciclar entre os passos 2 e 3 do algoritmo, teremos a

convergência pois nesse trecho está implementado o algoritmo A1 que pelo Teorema

3.3 converge.

Se o algoritmo ciclar entre os passos 4 e 7 (algoritmo A3) teremos a

convergência de uma forma análoga a mostrada pelo Teorema 6.11. O teste (VI.63)

garante o acréscimo da função dual a cada iteração e o teste de observância ,às

restrições não ativas garante a viabilidade.

Destacamos que o algoritmo A4 representa unicamente uma possibilidade para

se combinar as naturezas de penalidade e lagrangeana contidas na função penalidade

hiperbólica. Dentre as inúmeras possibilidades, uma interessante alternativa seria

adotar um esquema similar ao de OSBORNE e RYAN (1972) em que é feita uma

classificação permanente das restrições com vistas a especificação do conjunto de

restrições ativas. Todavia, essas investigações devem ficar relegadas para futuros

desdobramentos do presente trabalho.

Ao final do trabalho, julgamos conveniente fazermos preliminarmente uma

pequena síntese dos principais pontos apresentados.

Em relação aos trabalhos originais em que foram estabelecidos os fundamentos

da Penalização Hiperbólica XAVIER (1982a) e XAVIER (1982b), bem como, aos

trabalhos subseqüentes XAVIER e MACULAN (1984), XAVIER (1986) e XAVIER

(1991), foram acrescentados resultados que dão uma nova dimensão ao método e que,

por via de conseqüência, criam novas possibilidades de sua utilização prática.

O estabelecimento da ligação da Penalização Hiperbólica com a função

lagrangeana oferece um novo e amplo campo de estudos. Explorando essas ligações,

foi desenvolvida uma teoria de ponto de sela que associa ao ponto ótimo do problema

não linear sujeito a restrições de desigualdade um ponto de sela de função lagrangeana

hiperbólica. Dessa maneira, foi possível construir uma teoria de dualidade em torno

da penalização hiperbólica.

Esses resultados forneceram o arcabouço teórico necessário à construção de um

conjunto de novos algoritmos para os quais demos a denominação genérica de

Lagrangeanos Hiperbólicos. Completando o desenvolvimento, foi demonstrada a

convergência dos algoritmos propostos.

E natural que nesse ponto façamos uma avaliação global do método. Neste

sentido destacaremos sinteticamente o que julgamos serem as suas principais

características.

Diferenciabilidade

A função hiperbólica utilizada neste trabalho P(y, A, r ) , equação IV.8 (ou sob

a forma original, equação III.3), possui a singular propriedade de ser continuamente

diferenciável qualquer que seja a ordem da derivada considerada e segundo quaisquer

das variáveis consideradas: y, X ou r. Em outras palavras a função penalidade

hiperbólica é de classe Cw. Destarte F(x, A, r), equação IV.7, será de classe Cw se as

funções envolvidas f (x) e gi(x), i = 1, . . . , m t ainbém o forem.

Sob o ponto de vista computacional, esta é uma destacável propriedade. O

bom comportamento da função objetivo modificada oferece a possibilidade das

melhores técnicas de minimização sem restrições, que se utilizam das derivadas de

segunda ordem, funcionarem com a máxima eficiência. Atribuimos a essa propriedade

a razão do bom desempenho dos algoritinos frente a problemas considerados difíceis

na literatura.

Diversamente, a imensa maioria dos métodos das penalidades ou de

inultiplicadores trabalha com funções que apresentam descontinuidades de alguma

ordem, fato que acaba prejudicando o perfeito desempenho dos métodos de

rninimização irrestrita.

Ponto Inicial

Uma grande facilidade apresentada pelo método é em relação ao ponto inicial.

Não existe necessidade de qualquer ponto especial para inicio do processamento do

algoritmo, como acontece, por exemplo, no caso dos métodos das penalidades

int eriores.

Da mesma forma, dentro do processo interno de rninirnização sem restrições,

não se faz necessário qualquer controle sob a localização dos pontos intermediários.

A teoria da dualidade desenvolvida além de permitir a especificação dos

algoritinos Lagrangeanos Hiperbólicos oferece, através dos resultados do Teorema 6.7

e seu corolário, a desigualdade:

Se o ponto de mínimo intermediário x k for viável temos dois valores limitando

o valor da solução do problema:

Esse resultado se apresenta como um excelente critério para regra de parada.

Robustez e Precisão

Embora a experiência computacional não tenha sido muito extensiva, se

concentrou em problemas considerados difíceis, vis a vis o desempenho de consagrados

códigos de programação não linear frente aos mesmos, problemas de números 95, 101,

116, 117 e 118 de HOCK e SCHITTKOWSKI (1981) e problema 23 de

HIMMELBLAU (1972).

Em síntese devemos destacar:

- A solução obtida para qualquer dos.problemas de HOCK e SCHITTMOWSKI

(1981) foi tão boa quanto a melhor apresentada por qualquer dos seis códigos

nesta referência (vide XAVIER (1986)).

- A solução do problema Hirnmelblau 23 foi consideravelmente melhor que

aqueles obtidos por Holzman e por Bracken e McCormick conforme

reproduzido em HIMMELBLAU (1972). As soluções obtidas pelos algoritmos

A1 e A2 foram rigorosamente iguais e coincidem com aquela de MURTAGH e

SAUNDERS (1978).

Ademais, o método tem sido utilizado com sucesso, CANEDO, SILVA e

XAVIER (1989) e XAVIER, CANEDO e SILVA (1990) em aplicações hidrológicas

consideradas de grande dificuldade pela literatura (HENDRICKSON, SOROOSHIAN

e BRAZIL (1988)).

Assim, esses resdt ados preliminares têm demonstrado inelutavelmente

robustez (capacidade de resolver problemas) e precisão do método. Embora os

problemas tenliam sido submetidos basicamente ao algoritmo Al, dada à natureza dos

algoritmos Lagrangeanos Hiperbólicos terem uma estrutura muito semelhante àquela

do algoritmo Al, acreditamos que esses problemas sejam igualmente resolvidos por

esses últimos algoritmos, como o foi o problema Himmelblau 23 (provavelmente o

mais difícil).

Condicionamento da Matriz Hessiana

Similarmente aos métodos de penalidades exteriores e interiores o método da

penalização hiperbólica na formulação do algoritino A1 apresenta a propriedade de

m* valores próprios da matriz hessiana da função objetivo modificada tenderem a

infinito quando o parâmetro T tende a zero.

Todavia, as dificuldades decorrentes do mau condicionamento da matriz

hessiana, como mostrado no Capítulo VI, podem ser evitadas pelo método na

formulação denominada Lagrangeano Hiperbólico (algoritmos A2 a A4).

Para o método da penalização hiperbólica na formulação do algoritmo A1 foi

feito o desenvolvimento teórico (XAVIER e MACULAN (1984)) que mostra a

viabilidade de se usar mecanismos de extrapolação para se estimar o par ótimo

(x*, A*). Ademais, na prática o uso da extrapolação se mostrou numa estratégia

muito eficaz.

Dadas as características de diferenciabilidade apresentadas pelo Lagrangeano

Hiperbólico, os mecanismos de extrapolação também podem ser usados nos algoritmos

que adotam essa formulação (algoritmos A2 a A4).

Facilidade de Implementação

Todos algoritmos apresent ados possuem a característica de serem facilmente

programáveis, o que viabiliza a sua utilização por qualquer usuário menos experiente.

Restrições de Igualdade

No desenvolvimento deste trabalho foi sempre considerado o problema de

programação linear sujeito unicamente a restrições de desigualdade (1.2). Para a

resolução do problema mais geral (1.1) poderíamos adotar a penalização hiperbólica

para as restrições de desigualdade combinada com diversas alternativas descritas na

bibliografia para tratamento de restrições de igualdade. Todavia vamos preferir

apresentar dois encaminhamentos dentro da mesma elaboração da penalização

hiperbólica.

Uma primeira estratégia, muito simples, que tem sido implantada com sucesso

absoluto à nível experimental é desdobrar cada restrição de igualdade em duas

desigualdades:

Ademais, é dada uma folga flutuante para cada uma das desigualdades acima,

ou seja, a cada iteração "k" do algoritino Al, cada restrição hj(x) = O, j = 1, ..., p é

substituída por:

k -k onde E . e são respectivamente as folgas inferiores e superior específicas para a

-J

restrição de igualdade j na iteração k.

Ao final da iteração k, ao se obter o ponto de mínimo intermediário xk,

reduzimos a folga correspoiideilte ao sentido em que a restrição lij(xk) = O é violada

enquanto a outra é mantida constante. Vale dizer, as folgas são atualizadas da

seguinte forma:

Uma outra estratégia, complementar à primeira, é substituir cada restrição de

igualdade unicamente por uma restrição de desigualdade definida pela escolha de um

dos lados das desigualdades (VII. 1).

Essa abordagem está baseada na hipótese da correta determiaação do sinal do

multiplicador de Lagrange associado à cada restrição de igualdade. Nesse sentido é

similar ao método de multiplicadores de Hestenes-Powell.

Esse enfoque poderia, outrossim, ser classificado dentro da linha de

determinação do conjunto ativo. Dentro das hipóteses do teorema 6.10 (se o conjunto

de restrições ativas for corretamente estabelecido e se o problema resultante for

convexo) o algoritmo A3 resolve o problema (1.1).

Novas L i a s de Estudo

Embora importantes poiitos teóricos tenham sido desenvolvidos, est amos longe

de esgotar os estudos. Na verdade as ligações da penalização liiperbólica com a função

lagrangeana ampliam ainda mais as fronteiras de novas linhas a serem pesquisadas.

Abaixo listamos um conjunto de áreas a serem consideradas nesses estudos futuros,

sendo que em algumas delas, resultamdos preliminares já nos indicam possibilidades

concretas de serem bem sucedidas.

- Resolução do problema com restrições de igualdade

Esses trabalhos compreendem a formalização e o aprofundamento das

propostas acima alinhavadas.

- Resolução aproximada do problema dual

LUENBERGER (1973), estudando o método de multiplicadores de

HESTENES (1969) e POWELL (1969) para resolução do problema não linear sujeito

a restrições de igualdade, apresenta uma interessante abordagem em que, via

utilização de um método Newton Aproximado, deriva a atualização de la. ordem dos

multiplicadores de Lagrange. Possuímos resultados preliminares que nos inclicam que

seja possível adotar essa mesma abordagem para a penalização hiperbólica.

- Condicionamento do problema dual

Através do estudo da estrutura da matriz hessiana da fuilção dual é possível se

fazer um balaiiceainento das restrições com o sentido de equilibrar os autovalores

dessa matriz. Inspirados nos trabalhos de MURRAY (1971) e FLETCHER (1975) e

na tese de LOOTSMA (1970) já obtivemos resultados que demonstram claramente

essas possibilidades.

- Conexão com problema perturbado

O ponto de mínimo da função objetivo modificada pode resolver um problema

restrito obtido pela modificação do original. Essa linha de estudo compreende, a

formalização dessas conexões com o problema perturbado.

- Experimentação comput aciona1

Embora os resultados preliminares tenham sido satisfatórios, muito mais deve

ser feito em termos de experimentação prática, como por exemplo: teste com um

número maior de problemas, estudos de eficiência medida em tempo de CPU ou

número de iterações e comparação com outros algoritmos alternativos.

- Atualização de 2a. ordem dos multiplicadores de Lagrange

Todo o desenvolvimento do Lagrangeano Biperbólico foi construído a partir de

uma atualização de la. ordem dos multiplicadores. Similarmente a outros trabalhos,

como por exemplo: HAARHOFF e BUYS (1970) e MIELE, MOSELEY, LEVY e

COGGINS (1972b) a atualização de 2a. ordem deve ser considerada.

- Problema de programação linear

Uma linha natural de pesquisa é o uso da penalização hiperbólica explorando a

estrutura particular de certos problemas, dentre esses se configura interessante e

promissor o problema de programação linear, em particular adotando-se a abordagem

de GILL, MURRAY, SAUNDERS, TOMLIN e WRIGHT (1986).

- Resolução do sistema de equações lineares

E possível a resolução de um sistema de equações lineares usando-se a

penalização hiperbólica. Apesar desse enfoque não ser competitivo com as consagradas

técnicas para resolução de sistemas lineares, uma atraente linha de estudo é analisar

as características do mesmo.

- Programação Quadrática Sequencial

Uma possibilidade concreta que se apresenta é o uso da função penalização

hiperbólica como função mérito de um método de programação quadrática sequencial,

segundo metodologia descrita em GILL, MURRAY, SAUNDERS e WRIGHT (1986).

- Estudo da liessiana do problema dual

O objetivo deste estudo é, através do conhecimento das características da

matriz hessiana do problema dual e da articulação entre os problemas prima1 e dual,

buscar uma melhoria do desempenho do método, seguindo abordagem originalmente

apresentada em LUENBERGER (1973).

- Estudo da taxa de convergência

A idéia é desenvolver um estudo de taxa de convergência ligando a

convergência de {xk) + x com a de {Ak) + A*, emulando-se no trabalho de

BERTSEKAS (1976a) para o método de inultiplicadores de Hestenes-Powell.

Resultados experimentais indicam uma relação linear entre as duas convergências,

exatamente igual ao resultado encontrado por Bertsekas.

- Especificação de novos algoritmos lagrangeanos hiperbólicos

Os algoiitmos lagrangeanos hiperbólicos apresentados representam uma

pequena parcela das possibilidades do uso da penalização hiperbólica dentro do

enfoque dos métodos de multiplicadores. Iiiúineras são as alternativas possíveis.

- Combinação da penalização liiperbólica com outros algoritmos

E possível a combinação da penalização liiperbólica com outras técnicas de

programação matemática. Como exemplo, pode-se citar: o tratamento das restrições

lineares via algum método projetivo.

- Estudo de conexões com outros métodos

O principal objetivo desse estudo seria a busca de conexões do método da

penalização hiperbólica com outros métodos tendo em vista o estabelecimento de uma

abordagem integradora entre os mesmos, à imagem de trabalhos tais como os de

POWELL (1978), TAPIA (1978) e EL-ALEM (1988).

- Síntese de algoritmo

A existência de uma multiplicidade de algoritmos lagrangeanos liiperbólicos é

por tudo desaconsell-iável. O ideal é, através dos dois ítens anteriores, sintetizar um

único algoritmo que alie da forma mais convenieiite os quesitos: robustez, precisão e

velocidade.

Esses são alguns dos caminhos que naturalmente deverão seguir este trabalho.

BIBLIOGRAFIA

ARROW, I<. J., F. J. GOULD e S. M. HOWE (1973) - "A General Saddle Point

Result for Constrained Optirnization", Matliematical Programming, Vol. 5,

pp. 225-234.

AVRIEL, M. (1 976) - "Nonlinear Programrning Analysis and Met hods" ,

Prentice-Hall, Englewood Cliffs.

BERTSEKAS, D. P . (1975a) - "Combined Priinal Dual and Penalty Methods for

Constrained Minimization" , SIAM J. Control, pp. 521-544.

BERTSEKAS, D. P . (1975b) - "On the Method of Multipliers for Convex

Programrning", IEEE Trans. Automatic Control, No. 3, pp. 385-388.

BERTSEKAS, D. P . (1976a) - " 0 n Peilalty and Multiplier Methods for Constrained

Minimization", SIAM J. Control and Optimization, Vol. 14, pp. 216-235.

BERTSEKAS, D. P. (1976b) - "Multiplier Methods: A Survey", Autoinatica, pp.

133-143.

BERTSEKAS, D. P . (1982) - Constraiiled Optimization and Lagrange Multiplier

MethodsI1, Acadernic Press, San Diego.

BEST, M. J., BRAUNINGER, J., RITTER, I<. e ROBINSON, S. M. (1981) - "A

Globally aiid Quadratically Convergent Algoritm for General Nonlinear

Programming Problems", Coinputing, Vol. 26, pp. 141-153.

BOGGS, P. T. e TOLLE, J. W. (1980) - "Augmented Lagrangians Which are

Quadratic in the Multiplier", Jouinal of Optirnization Theory and

Applications, Vol. 33, no. 1, pp. 17-62.

BYRD, R. H. (1978) - "Local Convergente of the Diagonalized Method of

Multipliers", Journal of Optimization Theory and Applications, Vol. 26, no. 4,

pp. 485-500.

CANEDO MAGALHÃES, P., SILVA, L. P. e XAVIER, A. E. (1989) - "Calibração

Automática de Modelos Chuva-Vazão por Meio de Técnicas de Suavização",

Anais do 111 Siinpósio Luso-Brasileiro de Reciusos Hídricos, Lisboa, Portugal,

junho de 1989, pp. 277-287.

CARROL, C. W. (1961) - "The Cieated Response Surface Technique for Optimizing

Nonlinear Restrained Systems" , Operations Researcli, Vol. 9, pp. 169-184.

COURANT, R. (1943) - "Variationa1 Methods for the Solutioil of Problems of

Equilibrium and Vibiations", Bdl. Ann. Math. Society 49, 1-23.

DAVIES, D. e SWANN, W. H. (1969) - "Review of Constrained Optimization", in

Optirnization, Fletcher R. (ed.), Academic Press, London.

EL-ALEM, M. M. (1988) - "A Global Coilvergence Theory for a Class of Trust

Region Algorithms for Constrained Optirnizationi', Ph.D. Thesis, Rice

University , Houston, Texas.

FAN, Y., SARKAS, S., LASDON, L. (1985) - "Eqeiiments with Sucessive

Quadratic Programning Algoiithins" Worlting Paper Department of General

Business - College of Business Administration - University of Texas, Austin.

FIACCO, A. V. e McCORMICK, G. P . (1964) - "The Sequential Unconstrained

Minimization Technique for Nonlinear Prograrnming: A Prima1 Method",

Management Science, Vol. 10, pp. 360-364.

FIACCO, A. V. e McCORMICK, G. P. (1966) - "Extensions of SUMT for Noiilinear

Programining: Equality Constraints and Extrapolation", Management Science,

Vol. 12, pp. 816-828.

FIACCO, A. V. e McCORMICK, G. P . (1968) - "Nonlineai Programining:

Sequeiitial Unconstrained Miniinization Techniques", John Wiley, New York.

FLETCHER, R. (1970) - "A Class of Methods for Nonlinear Programming witli

Termination and Convergence Properties", in Integer and Nonlinear

Programming (Abadie J. ed.), North Holland Publishing Coinpany,

Amsteidam.

FLETCHER, R. e LILL, S. A. (1970) - "A Class of Methods for Nonlinear

Prograrnming I1 Computational Expeiience", in Nonlinear Programming,

(Rosen, J. B., Mangasarian, O. L. and Ritter, K.), Academic Press, New York,

London.

FLETCHER, R. (1973) - "An Exact Peilalty Function for Nonlinear Programining

with Iilequalities" , Matliematical Programming, Vol. 5, pp. 129-150.

FLETCHER, R. (1974) - "Methods Related to Lagrangian Functions" in Numerical

Methods for Coiistrained Optimization (Gill, P. E. e Murray, W., editores),

Academic Press, London e New York, pp. 219-240.

FLETCHER, R. (1975) - "An Ideal Penalty Function for Constrained

Optimization" , Journal of t he Institute of Mathematics and Its Applications,

Vol. 5, pp. 319-342.

FLETCHER, R. (1981) - "Practical Metliods of Optimization", Vol. 2, Constrained

Optimization", John Wiley & Sons, New York e Toronto.

FLETCHER, R. (1983) - "Penalty Functions" in Mathematical Programming - The

State of Art (A. Bachen, M. Grotschel e B. Komte, editores),

Springer-Verlag , Berlin, pp. 87-144.

FRIEDLANDER, A., MARTINEZ, J. M. e SCOLNIK, H. D. (1977) - "Generalized

Inverses and a New Stable Secant Type Miniinization Algorithm", Proceedings

of the 8th IFIP Conference on O pt imization, Wurzburg , September 5-9.

FRISH, R. (1955) - "The Logarithmic Potential Method for Solving Linear

Progiammiiig Problems", The University Institute of Economics, Oslo,

Memoraudum, May 7.

GILL, P. E. e MURRAY, W. (1979) - "The Computation of Lagrange Multiplier

Estimates for Constrained Minimization", Mathematical Programming, Vol.

17, pp. 32-60.

GILL, P. E., MURRAY, W., SAUNDERS, M. A. e WRIGHT, M. H. (1989) -

I ' Const rained Nonlineas Programining I ' in Optiinizat ion (Nemhauser , G. L.

Rinnooy Kan, A. H. G. e Todd, M. J., editores) - North-Holland,

Arnsterdam.

GILL, P. E., MURRAY, W. e WRIGHT, M. H. (1981) - "Practical Optirnization",

Academic Piess, London e New York.

GILL, P . E., MURRAY, W., SAUNDERS, M. A. e WRIGHT, M. H. (1986) - "Some

Theoretical Properties of an Augmented Lagrangian Merit Function",

Technical Repoit SOL-886-6, Department of Operations Research, Stanford

University, Stanfoid, California.

GILL, P . E., MURRAY, W., SAUNDERS, M. A.; TOMLIN, J. A. e WRIGHT, M.

H. (1986) - "On Piojected Newton Bariiei Methods for Linear Piogramming

and Equivalence to Marmarkar's Projective Metliod", Mathematical

Piogramming, Vol. 36, pp. 183-209.

GLAD, S. T. (1979) - "Pioperties of Updatiiig Methods for the Multipliers in

Augmented Lagrangians" , Jouinal of Optiinization Tlieory and Applications,

Vol. 28, no. 2, pp. 135-156.

GLAD, S. T. e POLAK, E. ( 1979) - "A Multiplier Method with Automatic

Lirnitation of Penalty Growth" , Mathematical Piogramming, Vol. 17, pp.

140-155.

HAARHOFF, P. C. e BUYS, J. D. (1970) - "A New Method foi the Optimization of

a Nonlinear Function Subject to Nonlinear Constiaints", The Computei

Journal, Vol. 134, no. 2, pp. 178-184.

HARDY, G. H. (1952) - "A Course of Puie Mathematics", Cambridge University

Press, 10th edition, Cambridge.

HENDRICKSON, J. D., SOROOSHIAN, S. e BRAZIL, L. E. (1988) - "Compaiison

of Newton-Tyoe and Diiect Search Algoiitins foi Calibratiou of Conceptual

Rainfall-Runoff Models" , Water Resouices Research, l4(5), pp. 691-700.

HENRICI, P. (1977) - " Applied and Computational Complex Analysis" , Vol. 2, John

Wiley & Sons, New York.

HESTENES, M. R. (1969) - "Multiplier and Gradient Methods", J. Optirnization

Theor. Appl., Vol. 4, pp. 303-320.

HIMMELBLAU, D. M. (1972) - "Applied Noalinear Programming", McGraw-Hill,

New York.

HOCK, W. e SCHITTI<OWSI<I, I<. (1981) - "Test Examples for Nonlinear

Programming Codes " , Pringer Verlag, Berliii e Heidelberg.

HUARD, P. (1967) - "Resolutioii of Mathematical Prograinming with Nonlinear

Constraints by Method of Centres", ia: Nonlinear Programming (J. Abadie

ed. ), Nort h-Holland Publishing Company, Ainsterdam, pp. 206-219.

KORT, B. W. e BERTESEMAS, D. P. (1976) - "Combined Piimal Dual and

Penalty Methods foi Convex Progiamrning", SIAM Journal Control and

Optimization, Vol. 14, pp. 268-294.

LOOTSMA, F. A. (1967) - "Logarithmic Programming: A Method of Solving

Nonliaear Programming Problems", Phillips Res. Repts pp. 328-344.

LOOTSMA, F. A. (1968a) - "Extrapolation in Logarithmic Prograinming", Philips

Res. Repts. 23, pp. 108-116.

LOOTSMA, F. A. (1968b) - "Constiained Optimization Via Penalty Functions",

Philips Res. Repts. 23, pp. 408423.

LOOTSMA, F. A. (1968~) - "Constrained Optiinization Via Pasameter Fiee

Penalty", Philips Res. Repts. 23, pp. 424437.

LOOTSMA, F. A. (1969) - "Hessian M.atrices of Peiialty Functions foi Solving

Constrained Optimization Probleins" , Philips Res. Repts., vol. 24, pp.

322-330.

LOOTSMA, F. A. (1970) - "Boundary Properties of Penalty Functions foi

Constiained Minimization", Ph.D. Thesis, Technological University

Eiiidhoven, Philips Res. Repts. Suppl., no. 3.

LOOTSMA, F. A. (1972) - "A Survey of Methods foi Solving Constrained

Minimization Problems Via Uiiconstiained Minimization", in Nuinerical

Methods for Nonlinear Optimization (L. A. Lootsina, editor), pp. 313-347,

Academic Press e New York.

LUENBERGER, D. G. (1973) - "Introduction to Linear and Nonlinear

Progiamming", Addison-Wesley, Menlo Paik.

MANGASARIAN, O. L. (1975) - "Unconstrained Lagrangians in Nonlinear

Piogramining", SIAM J. Control and Optiinization, Vol. 13, no. 4, pp.

McCORMICK, G. P. and SOFEL, A. (1988) - "The Revised SUMT Method for

Convex Programming", a aparecer no Mathematics of Operations Research.

MIELE, A., GRAGG, E. E., IYER, R. R. and LEVY, A. V. (1971a) - "Use of the

Augmeiited Penalty Function in Matheinatical Programming Problems",

Journal of Optimization Theory aiid Applications, Vol. 8, no. 2, pp. 115-130.

MIELE, A., GRAGG, E. E. e LEVY, A. V. (1971b) - "Use of the

Augmented Penalty Function in Matliematical Prograinming Problems, Part

2Ii, Journal of Optimizatioii Theory and Applications, Vol. 8, no. 2, pp.

131-153.

MIELE, A., MOSELEY, P . E. e CRAGG, E. E. (1972a) - "A Modification of the

Method of Multipliers for Matheinatical Piograrnrning Problems", in

Teclmiclues of Optimization (Balakrislinaii A. V. ed.), pp. 247-260, Academic

Piess, New Yorlc.

MIELE, A., MOSELEY, P. E., LEVY, A. V. e COGGINS, G. M. (1972b) - "On the

Method of Multipliers for Mathematical Piogramrning Problems", Journal of

Optimization Tlieory aiid Applications, Vol. 10, no. 1, pp. 1-33.

MINOUX, M. (1986) - "Mathematical Programming Theory and Algoiitlims", John

Wiley and Sons, Chicllester.

MUKAI, H. e POLAK, E. (1978) - "A Second-Order Method for the General

Nonlinear Programming Problem", Journal of Optimization Tlieory and


MURRAY, W. (1971) - I ' Analytical Expressions for the Eigenvalue and Eigenvectors

of the Hessian Matrices of Barrier and Penalty Functions", Journal of

Optimization Theory and Applications, Vol. 7, no. 3, pp. 189-196.

MURTAGH, B. A. e SAUNDERS, M. (1978) - "Large Scale Linearly Constrained

Optimization", Mathematical Piogramming, Vol. 14, pp. 41-72.

NAKAYAMA, H., SAYAMA, H. e SAWARAGI, Y. (1975) - "A Geneialized

Lagrangian Function and Multiplier Metliod", Jouinal of Optirnization Theory

and Applications, Vol. 17, nos. 314, pp. 211-227.

OSBORNE, M. R. e RYAN, D. M. (1972) - "A Hybiicl Algoritlim for Nonlinear

Programming" , in Numerical Methods for Nonlinear Optimization (L. A.

Lootsma, editor), pp. 395410, Academic Press, London e New Yoik.

PIERRE, D. A. e LOWE, M. J. (1975) - "Mathematical Programming Via

Augmented Lagrangians - An Introduction With Computer Programs",

Addison-Wesley, Reading.

PILLO, G. DI e GRIPPO, L. (1979) - "A New Class of Augmented Lagrangians in

Nonlinear Programming", SIAM J. Contiol and Optimization, Vol. 17, no. 5,

pp. 618-628.

POLAK, E. (1971) - "Computational Methods in Optimization: A Unified

Approach" , Acadernic Press, New York.

POWELL, M. J. D. (1969) - "A Metliod for Nonlinear Constraints in Minimization

Problems", in Optirnization (Fletcher R. ed.), pp. 283-298, Academic Press,

London.

POWELL, M. J . D. (1978) - "Algoritlims for Nonlinear Constraints that Use

Lagrangian Functions", Mathematical Prograinming, Vol. 14, pp. 224-248.

ROBINSON, S. M. (1972) - "A Quadratically Convergent Algorithm for General

Nonlinear Programining Problems", Mathematical Programrning, vol. 3, pp.

145-156.

ROCKAFELLAR, R. T. (1973) - "The Multiplier Method of Hestenes and Powell

Applied to Convex Programming", Journal of Optiinization Theory and


ROCKAFELLAR, R. T. (1974) - "Auginented Lagrangians Multiplier aild Duality in

Nonconvex Programrning", SIAM Journal on Control, Vol. 12, pp. 268-285.

ROCKAFELLAR, R. T. (1976) - "Augmeiited Lagrangians and Applications of

Proximal Point Algorithin iii Coiivex Programming", Mathematics of

Operations Resarch, Vol. 1, no. 2, pp. 97-116.

RYAN, D. M. (1974) - "Penalty and Barrier Functions", in Numerical Methods for

Constrained Optimization (Gill, P . E. e Murray, W., Editores), Academic

Press, London e New York, pp. 175-190.

TAPIA, R. A. (1978) - "Quasi-Newton Metl-iods for Equality Constrained

Optirnization: Equivalente of Existing Metliods and a New Impleinentation",

in Nonlinear Programming 3 (Mangasarian O. L., Meyer R. R. and Robinson

S. M. eds.), pp. 125-164, Acaclemic Press, New York.

WATANABE, N., NISHIMURA, Y. e MATSUBARA, M. (1978) - "Decomposition

in Large System Optimization Using the Method of Multipliers", Journal of

Optimization Theory and ~ ~ ~ l i c a t i o n s , Vol. 25, no. 2, 181-193.

XAVIER, A. E. (1982a) - "Penalização Hiperbólica - Um Novo Método para

Resolução de Problemas de Otimização", Tese de M.Sc., COPPE/UFRJ, Rio

de Janeiro.

XAVIER, A. E. (198213) - "Penalização Hiperbólica", Anais do I Congresso Latino

Americano de Pesquisa Operacional e Engenliaiia de Sistemas, Rio de Janeiro,

pp. 468482.

XAVIER, A. E. e MACULAN, N. (1984) - "Extrapolação em Penalização

Hiperbólica", I1 Congresso Latino 'Americano de Investigation Opeiativa e

Ingenieria de Sistemas (trabalhos selecionados), Buenos Aires, pp. 24-38.

XAVIER, A. E. (1986) - "Penalização Hiperbólica: Resultados Computacionais", I11

Congresso Latino Americano de Investigación Operativa e Ingenieiia de

Sistemas, Santiago do Chile.

XAVIER, A. E., CANEDO MAGALHÃES, P. e SILVA, L. P. (1990) - "Calibração

Automática de Modelos Cliuva-Vazão: Um Método Assintótico", Pesquisa

Operacional, Vol. 10, Número 1, Rio de Janeiro.

XAVIER, A. E. (1991) - "Penalização Hiperbólica: Uma Abordagem Lagrangeana",

trabalho apresentado no XVI CNMAC, Friburgo, 2 a 6 setembro.

ZANGWILL, W. I. (1967) - I ' Non-Linear Prograinrning Via Penalty Functions" ,

Manageinent Sciences, Vol. 13, pp. 344-358.

ANEXO 1

Proposição 1

Propriedade P9 ( Contração da Função Penalidade)

- -

Sejam y e t dois pontos quaisquer. Façamos olk = &+i = a, ol E (0, 7r/2) e

O < r k + l < r k . Então é observada a seguinte propriedade da função penalidade:

Demonstração

Sem perda de generalidade vamos considerar y < t , que pela propriedade P5

implica em que P ( y, a, r) > P (t , &,r).

Vamos então calcular a diferença entre os valores de função penalidade nos

pontos "y" e "t" usando para isso a sua expressão (111.4) em termos dos parâmetros r

e r.

Assim:

Pela expressão (III.5), como a por hipótese é constante, r também é constante.

Pela simplicidade vamos, então fazer:

Substituindo (A.2) em (A.l) temos:

Para analisarmos o comportamento da função (A.3) em relação ao parâmetro

r, vamos calcular a sua derivada em relação a r.

Como a varia no intervalo O < a < ~ / 2 implica que r > 1 e conseqüentemente

que I< > 0.

Então, como "I<" e "r" são positivos e por hipóteses y < t, podemos

facilmente observar que sempre a íiltima expressão é positiva, e dessa forma:

a - I P(y,&,r) - P(t,a)r) I > O ar

Ou seja, é uma função monotonamente crescente com T o que implica que com

Proposição 2

Propriedade P10 (Preservação de Convexidade)

Se g(x) é uma função côncava, então P(g(x) ,a ,~) será urna função convexa

para a no intervalo O < a < e T > 0.

Demonstração

Sejam xl e x2 dois pontos quaisquer.

Devemos demonstrar que:

onde p está compreendido no intervalo O L p 5 1.

Como g(x) por hipótese é uma função côncava, temos:

Devido à desigualdade (A.4) e levando em consideração a propriedade P5 que

P(y,a,p) é uma função sempre não crescente com y, temos:

Proposição 3

Propriedade Pl 1: (Diferença Máxima)

A diferença máxima entre duas funções penalidades, para dois diferentes

valores do parâmetro r e com mesmo parâmetro a, se dá no ponto y = 0.

Demonstração

Sejam 70 e 7-1 OS dois valores do parâmetro T, sendo 70 > 7 1 > 0.

Vamos tomar a diferença entre as duas funções, usando para isso a expressão

(111.4) da penalização hiperbólica:

Derivando em relação a y, temos:

a - (p (y, u, 70) - P (y, u,r')) = L- (A ay r2-1 1-

r2

Analisando a expressão acima, vemos que a diferença entre as duas funções

assume um valor extremo no ponto y = O. Além disto, este extremo é claramente um

máximo, que por sua vez é único. Assim:

Propriedade P12: (Variação da Inclinação)

A derivada da função penalidade em relação a y, ou seja, PY(y,n,r) é uma

f~mção decrescente com T para pontos y > O (e é inversamente uma função crescente

com T para pontos y < O) e para T > 0.

Demonstração

Primeiramente vamos calcular a derivada da função penalidade em relação a y,

usando para isto a equação (111.4):

Para analisar o comportamento de PY(y,ai,r) em função do parâmetro r vamos

calcular a sua derivada em relação a r:

Como r > 1 e r > O, a expressão acima assume o sinal contrário de y. Deste

modo, a derivada P;(y,ai, r) é decrescente com o parâinetro T para pontos y > 0.

ANEXO 2

DESCRIÇÃO DO EmMPLO DO USO DO ALGORITMO A2

O problema 23 de HIMMELBLAU (1972) utilizado neste exemplo tem a

seguinte especificação:

A Tabela A2-1 apresenta os valores dos parâmetros usados para o problema.

A minimização sem restrições no passo 3 do Algoritmo A2 foi feita

utilizando-se a rotina VAI 3C da Harwell Subroutine Library que basicamente

implementa o método Quasi-Newton com atualização BFGS (Bioyden

Fletcher-Goldfarb-Shanno) (vide por exemplo GILL, MURRAY e WRIGHT

(1981)).

Tabela A2.1- Dados para o problema Himmelblau 23

Foram adotados os seguintes valoies iniciais no Passo 1 do algoiitmo:

Foi adotada a seguinte atualização dos parâmetros r no passo 7 do algoritmo:

Os resultados apresentados na Tabela A2-2 mostram uma síntese dos

resultados. A coluna TEMPO especifica o tempo de CPU em segundos gastos em

cada iteração em um computador IBM 4381122.

TABELA A2-2 - Síntese dos resultados computacionais

Iteração NO. de Passos Tempo fkk>

Deveremos registrar que a so1uçã.o obtida pelo algori tino A2 coincide

int egralmente com aquela obtida pelo algoritino A1 conforme regis trado em XAVIER

(1986). Além disso, o valor encontrado para a função objetivo coincide integralmente

com aquele obtido pelo algoritmo MINOS conforme MURTAGH e SAUNDERS

(1978) onde está consignado:

A Tabela A2-3 apresenta o ponto x produzido através do arredondamento do

ponto final obtido pelo Algoritino A2 (iteração 5) para o inteiro mais próximo, ou

seja, de acordo com a seguinte regia:

Devemos primeiramente comentar que o ponto final arredondado é viável.

Ademais, oferece um valor para a função objetivo

que é melhor que aqueles obtidos por Holzman e por Bracken e McCorrnick também

para valores arredondados, respectivamente: -1731.805 e -1732.443, conforme

reproduzido em HIMMELBLAU (1972).

Tabela A2.3 - Resultados computacionais - Ponto final arredondado

j/i 1 2 3 4 5 TOTAL

TOTAL 200 9 9 300 150 250 999

I · Ao Prof. João Lizardo Rochigues Hermes de Araújo pelo ... derivadas de qualquer ordem em...

Documents

Transcript of I · Ao Prof. João Lizardo Rochigues Hermes de Araújo pelo ... derivadas de qualquer ordem em...