Velocidade de Convergência de Métodos de Otimização Irrestrita - Flavia Mescko Fernandes

7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes

1/53

FLAVIA MESCKO FERNANDES

VELOCIDADE DE CONVERGNCIA DE MTODOS DEOTIMIZAO IRRESTRITA

CURITIBA

DEZEMBRO, 2010


2/53



Monografia apresentada como requisitoparcial obteno do grau de Licenci-ado em Matemtica, pelo Departamento deMatemtica, Setor de Cincias exatas, Uni-versidade Federal do Paran.

Orientador: Ademir Alves Ribeiro

Co-Orientadora: Elizabeth Wegner Karas

CURITIBA

DEZEMBRO, 2010


3/53

Termo de Aprovao



Monografia apresentada como requisito parcial obteno do grau de Licenciado emMatemtica, pelo Departamento de Matemtica, Setor de Cincias exatas, UniversidadeFederal do Paran, pela seguinte banca examinadora:

Prof Dr. Ademir Alves RibeiroUniversidade Federal do Paran

Profa. Dra. Lucelina Batista dos SantosUniversidade Federal do Paran

Curitiba, Dezembro de 2010


4/53

Dedicatria

A Deus,

Pelo dom da vida.

ii


5/53

Agradecimentos

Agradeo primeiramente ao Senhor Jesus Cristo por mais uma importante etapa

concluda. Agradeo tambm a minha famlia, pelo apoio e dedicao. Meus amigos

do curso, pelo companheirismo e boas horas de estudo. Agradeo aos meus professores

pelos conhecimentos que me transmitiram, ao professor Paulo Henrique e profes-

sora Elizabeth que me orientaram e auxiliaram em pesquisas no decorrer do curso. Eagradeo especialmente ao professor Ademir, que com dedicao me orientou e me aju-

dou na concluso deste trabalho, pelo exemplo e lies que contribuiram para minha

formao profissional.

iii


6/53

Sumrio

Lista de Figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi

Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii

1 INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 ESTUDO DE SEQUNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.1 Convergncia de Sequncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.2 Nmero de Ouro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3 Velocidade de Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3 MTODO DE CAUCHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.1 Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2 Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.3 Convergncia Global . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.4 Velocidade de Convergncia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4 MTODO DE NEWTON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.1 Mtodo de Newton para Resoluo de Equaes . . . . . . . . . . . . . . . . . . . . . . . . 19

4.2 Mtodo de Newton para Otimizao Irrestrita . . . . . . . . . . . . . . . . . . . . . . . . . . 20

iv


7/53

4.3 Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.4 Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

5 MTODO DA SEO UREA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5.1 Busca Unidimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5.2 Mtodo da Seo urea - Busca exata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

5.3 Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

5.4 Convergncia do Mtodo da Seo urea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.5 Velocidade de Convergncia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

6 CONCLUSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

R e f e r n c i a s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3

v


8/53

Lista de Figuras

Figura 1 Termos da sequncia(xk)na reta. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Figura 2 Termos da Sequncia(xk) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Figura 3 Passos do Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Figura 4 Passos do Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Figura 5 Uma iterao do Mtodo de Newton para equaes . . . . . . . . . . . . . . . 20

Figura 6 Uma iterao do Mtodo de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Figura 7 Busca unidimensional exata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Figura 8 Funes Unimodais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Figura 9 Seo urea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Figura 10 Intervalo dividido em trs partes iguais . . . . . . . . . . . . . . . . . . . . . . . . . . 30

vi


9/53

Figura 11 Partio do intervalo[a, b] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Figura 12 Partio do intervalo[a, b] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Figura 13 Anlise da primeira etapa do algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Figura 14 Anlise do item(i)do teorema 5.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Figura 15 Todos os intervalos [ak, bk] contm o minimizador da funo quadrtica. 39

vii


10/53


11/53

1

1 INTRODUO

Em otimizao a soluo de um problema de minimizar uma funo obtida

por meio de um processo iterativo. Consideramos um ponto inicialx0, obtemos um

ponto melhorx1, isto , que diminui o valor da funo objetivo e repetimos o processo

gerando uma sequncia na qual a funo objetivo decresce. Basicamente temos trs

aspectos concernentes aos mtodos de otimizao. O primeiro consiste na criao do

algoritmo propriamente dito, que deve levar em conta a estrutura do problema e as

propriedades satisfeitas pelas solues, entre outras coisas. O segundo aspecto se refere

as sequncias geradas pelo algoritmo, onde a principal questo se tais sequncias

realmente convergem para uma soluo do problema. O terceiro ponto a ser considerado

a velocidade com que a sequncia converge para uma soluo, para fins prticos,

no basta que esta seja convergente preciso que uma aproximao do limite possa

ser obtida em um tempo razovel. Deste modo, bons algoritmos so os que geram

sequncias que convergem rapidamente para uma soluo.

Uma forma geral de construir um algoritmo consiste em escolher, a partir de

cada ponto obtido, uma direo para dar o prximo passo. A direo escolhida no

Algoritmo de Cauchy a oposta ao grandiente, pois esta a de maior decrescimento

da funo. J o algoritmo de Newton minimiza, em cada iterao, a aproximao

quadrtica da funo objetivo. Quando a direo de busca j dada e precisamos mi-

nimizar uma funo a partir de um certo ponto, segundo esta direo, recaimos em um

problema de minimizar uma funo real de apenas uma varivel. Um dos mtodos que

podem ser usados para resolver este problema o Mtodo da Seo urea, que faz a

minimizao exata desta funo.


12/53

2

Este trabalho se organiza da seguinte forma: inicialmente so apresentados

alguns conceitos de Anlise que sero utilizados nos prximos captulos. feita uma

reviso sobre convergncia de sequncias e velocidade de convergncia.

O segundo e terceiro captulos apresentam os algoritmos de Cauchy e de New-

ton, alm da anlise da velocidade de convergncia destes mtodos.

Encerrando o trabalho com um estudo sobre o Mtodo da Seo urea, abor-

dado no quarto captulo, bem como a anlise das etapas deste algoritmo e sua velocidade

de convergncia, algumas das demonstraes apresentadas neste captulo no foram en-

contradas nas principais literaturas, portanto este estudo ocorreu de forma independente.


13/53

3

2 ESTUDO DE SEQUNCIAS

Neste captulo apresentamos algumas definies bsicas e alguns resultados

de Anlise relevantes para este trabalho. As principais referncias deste captulo so

(LIMA, 1981b;RIBEIRO; KARAS, 2010).

2.1 Convergncia de Sequncias

Uma sequncia em IRn uma aplicao k IN xk IRn, definida noconjuntoINdos nmeros naturais. Denotaremos uma sequncia por (xk)kIN, ou sim-

plesmente por(xk). Por convenincia, consideramos queIN ={0, 1, 2, 3, . . .}.

Definio 2.1 Diz-se que o ponto a IRn o limite da sequncia (xk)quando, paratodo >0dado, possvel obterk0INtal que

kk0 xk a< .

Neste caso, tambm dizemos que a sequncia(xk)converge para ae indicamos este

fato porxk aou limk

xk =a.

Vemos da definio anterior que o ponto aIRn o limite da sequncia(xk)se para cada >0, o conjuntoIN1 ={kIN| xk a } finito, ou seja, fora dabolaB(a, )s podero estar, no mximo, os termos x1, . . . , xk0.

Uma subsequncia de (xk) a restrio desta sequncia a um subconjunto

infinitoIN ={k1 < k2 < . . . < ki < . . .} IN. Equivalentemente, uma subsequncia


14/53

4

de(xk) uma sequncia do tipo (xk)kIN ou(xki)iIN, onde(ki)iIN uma sequncia

crescente de inteiros positivos. Note quekii, para todoiIN.

Teorema 2.2 Se uma sequncia(xk)converge para um limitea, ento toda subsequn-

cia(xki)tambm converge paraa.

Demonstrao. Dado >0existe umk0tal que para todok > k0tem-se xk a< .Como os ndices da subsequncia formam um subconjunto infinito, existe entre eles um

ki0 k0. Ento parakiki0temoskik0. Logo xki a< .

O limite de uma subsequncia(xk)kIN

chamado valor de aderncia ou ponto

de acumulao da sequncia(xk).

Exemplo 2.3 Considere a sequnciaxk = (1)k + 1k+ 1

.

Sabemos que xk tem dois pontos de acumulao, os valores, 1e1, portanto no convergente. Veja a figura a seguir.

Figura 1: Termos da sequncia(xk)na reta.

Exemplo 2.4 Considere uma sequncia(xk)IR. Se xk a >0ento existe k0INtal que, parakk0tem-sexk a

2.

De fato, para = a

2, existek0tal que,k

k0temos

|xk

a

| 0, temosa < a. Pela propriedade do supremo, existe algumk0 INtal quea < xk. Comoxk apara todokIN, vemos que

kk0a < xk a < a+,

donde segue quexk a

Teorema 2.10 Uma sequncia limitada emIRn convergente se, e somente se, possui

um nico ponto de acumulao.

Teorema 2.11 (Bolzano-Weierstrass) Toda sequncia limitada em IRnpossui uma sub-

sequncia convergente.

Teorema 2.12 Seja(xk)IRuma sequncia montona que possui uma subsequnciaconvergente, digamosxk

INa. Entoxk a.

Exemplo 2.13 Seja(xk

)IRdefinida porx0

= 1exk+1

= 1 +xk

. Temos

xk =

1 +

1 + +

1 +

2.

Afirmamos quexk 1

, onde 1

=

1 +

5

2 o inverso do nmero de ouro.


17/53

7

De fato, podemos provar por induo finita que esta sequncia crescente e limitada,

com1xk 2. Ento, pelo Teorema 2.9,(xk)converge, digamosxk x. De acordo

com o Teorema 2.2, a subsequncia(xk+1)tambm converge para o mesmo limite, isto,xk+1 x. Ento(xk+1 xk)0.O que resulta em

x 1 +x= 0(x)2 x 1 = 0

Portanto a sequncia converge para x =1 +

5

2 .

2.2 Nmero de Ouro

O Nmero de Ouro um nmero irracional misterioso e enigmtico que nos

surge numa infinidade de elementos da natureza na forma de uma razo, sendo consid-

erada por muitos como uma oferta de Deus ao mundo. A designao adoptada para este

nmero 0, 618, a inicial do nome de Fdias que foi escultor e arquiteto encar-regado da construo do Prtenon, em Atenas.

A histria deste enigmtico nmero perde-se na antiguidade. Esta razo ou

seco urea aparece em muitas esttuas da antiguidade que apresentavam uma especial

harmonia esttica. A excelncia dos desenhos de Leonardo Da Vinci (1452-1519), como

a Monalisa e o Homem Vitruviano revelam os seus conhecimentos matemticos bem

como a utilizao da razo urea como garantia de uma perfeio, beleza e harmonia

nicas.


18/53

8

2.3 Velocidade de Convergncia

No contexto de otimizao existe outro aspecto importante a ser analisado emuma sequncia: a velocidade de convergncia. Considere, por exemplo sequncias

xk = 1

k+ 5, yk =

1

3k, wk =

1

2k2 e zk =

1

22k

Vemos que todas elas convergem para 0, mas no com a mesma rapidez, con-

forme sugere a tabela abaixo.

k 1 2 3 4 5 6

xk 0.1667 0.1429 0.1250 0.1111 0.1000 0.0909

yk 0.3333 0.1111 0.0370 0.0123 0.0041 0.0014

wk 0.5 0.0625 0, 001953 1, 52 105 2, 98 108 1, 46 1011zk 0.2500 0.0625 0.0030 1 105 2 1010 5, 42 1020

Diante disto conveniente estabelecer uma maneira de medir a velocidade de

sequncias convergentes. Considere ento uma sequncia(xk)IRn convergente paraxIRn. Assim,ek=||xk x|| 0. O que faremos avaliar como o erro tende a 0.

Observao:Ao longo deste trabalho utilizaremos a notao ||x|| para indicara norma euclidiana de um vetor em IRn.

Definio 2.14 Dizemos que a sequncia(xk) IRn converge linearmente para xIRn quando existe uma constanter[0, 1)e um nmerok0IN, tais que

||xk+1 x||||xk x|| r (2.1)

para todokk0 importante ressaltar que a condio(2.1)implica quexk x, pois

||xk0+p x|| rp||xk0 x||,

para todopINer[0, 1).


19/53

9

Exemplos:

A sequnciaxk

=

1

k+ 5 converge para0, mas no linearmente.De fato, temos

||xk+1||||xk|| =

k+ 5

k+ 6 1.

A sequnciayk = 13k

converge linearmente para 0, pois

||yk+1||

||yk

|| =

1

3

.

As sequnciaswk = 12k2

e zk = 1

22k tambm convergem linearmente para0.

Vejamos agora uma forma mais veloz de convergncia.

Definio 2.15 A sequncia (xk) IRn converge superlinearmente para x IRn

quando ||xk+1 x||||xk x|| 0. (2.2)

Veja que a condio(2.2)tambm implica quexk x.

Note que:

yk no converge superlinearmente.

A sequnciawk = 12k2

converge superlinearmente para0.

De fato, temos||wk+1||||wk|| =

2k2

2(k+1)2

= 1

22k+1 0.

zk tambm converge superlinearmente para 0.


20/53

10

Outra forma de convergncia, ainda mais rpida dada abaixo.

Definio 2.16 Suponha quexk

x. A convergncia dita quadrtica quando existeuma constanteM >0, tal que

||xk+1 x||||xk x||2 M. (2.3)

importante observar que apenas a condio(2.3)no implica quexk x.Note que:

zk = 122k

converge quadraticamente para 0, pois,

||zk+1||||zk|| =

1

22k+1 1

22k

2 =22k21

222k = 20 = 1.

As demais no convergem quadraticamente.

Por exemplo, note quewk

= 1

2k2 no converge quadraticamente, pois,

||wk+1||||wk||2 =

(2k2

)2

2(k+1)2 =

22k2

2k2+2k+1 =

2k2

22k+1 .

Logo no existeM >0, tal que||wk+1||||wk||2 M.


21/53

11

3 MTODO DE CAUCHY

Vamos agora discutir um dos mtodos para resolver o problema de minimizar

uma funo emIRn. Algumas referncias para este assunto so (MOTA, 2005;RIBEIRO;

KARAS, 2010).

3.1 Algoritmo de Cauchy

Um dos mtodos mais conhecidos para minimizar uma funo o mtodo cls-

sico do gradiente, tambm chamado mtodo de Cauchy. Neste mtodo, a direo de

busca em cada iterao o oposto do vetor gradiente da funo objetivo no ponto cor-

rente. A justificativa desta escolha se baseia no fato de que, dentre as direes ao longodas quaisfdecresce, a direo oposta ao gradiente a de decrescimento mais acentu-

ado. De fato, se d =f(x)e v IRn tal que||v|| =||d||, ento calculando aderivada direcional defemxna direo do vetord, temos

f(x)

d =f(x)Td=||f(x)||2 =||f(x)||||f(x)||

Usando que | |f(x)||=||f(x)|| e a desigualdade Cauchy-Schwarz, temos:

||f(x)||||f(x)||=||f(x)||||v|| f(x)Tv= f(x)v

.

Portanto, f(x)d

f(x)v

.

Conclumos que a direo oposta ao gradiente a de maior decrescimento da funo.


22/53

12

3.2 Algoritmo

O Algoritmo de Cauchy faz uso da busca exata, que consiste em encontrar ominimizador da funo a partir de um ponto xe uma direod.

Algoritmo 3.1 Algoritmo de Cauchy

Dado:x0 IRnk= 0

REPITA enquanto f(xk)= 0

Definadk =f(xk)

Obtenhatk >0tal quef(xk +tkdk)< f(xk)

Faaxk+1 =xk +tkdk

k= k + 1

A Figura 3 mostra 4 iteraes do Algoritmo de Cauchy com a busca exata

aplicado para minimizar uma funo quadrtica, onde as curvas de nveis desta funoso elipses.

Figura 3: Passos do Algoritmo de Cauchy


23/53

13

A Figura 3 sugere duas propriedades do algoritmo. Uma delas o fato de duas

direes consecutivas serem ortogonais. De fato, definindo(t) =f(xk +tdk), temos

(dk+1)Tdk =f(xk+1)Tdk =f(xk +tkdk)Tdk =(tk) = 0.

A outra propriedade se refere convergncia, que ser discutida na prxima seo.

3.3 Convergncia Global

Teorema 3.2 O Algoritmo de Cauchy, com o tamanho do passotkcalculado pela busca

exata, globalmente convergente, isto , para qualquer sequncia (xk) gerada peloalgoritmo, qualquer ponto de acumulao x estacionrio.

Sejam(xk)uma sequncia gerada pelo algoritmo e xum ponto de acumulao

de(xk), digamosxk IN x.

Suponha por absurdo que xno seja estacionrio, isto , f(x)= 0.Assim d=(x) uma direo de descida o que garante a existncia det >0, tal que

f(x+td) < f(x). Considereh : IR

n

IRdada porh(x) = f(x) f(x tf(x)).Como h contnua, pois f diferencivel, temos que h(xk)

IN h(x). Chamamosh(x) = >0. Logo temos que: h(xk). Assim, para todokIN, suficientementegrande temos queh(xk)

2, como vimos no Exemplo 2.4. Deste modo, como tkfoi

obtido pela busca exata, podemos concluir que

f(xk+1) =f(xk +tkdk)f(xk +tdk)f(xk)

2.

Logo,

f(xk) f(xk+1) 2

(3.1)

para todokIN, suficientemente grande. Por outro lado pela continuidade def, temosf(xk)

IN f(x). Como a sequncia(f(xk))kIN montona decrescente pois temos quef(xk+1)< f(xk), o Teorema 2.12 garante quef(xk)f(x), contradizendo(3.1).


24/53

14


Os resultados mais importantes sobre a velocidade de convergncia do algo-ritmo de Cauchy so revelados quando a funo objetivo quadrtica. Vamos ento

considerar

f(x) =1

2xTAx+bTx+c

comAIRnn definida positiva,bIRn ecIR. Assimf convexa e tem um nicominimizadorx, que global e satisfaz

f(x) =Ax+b.

Mostraremos agora que, usando a norma euclidiana, a sequncia gerada pelo

mtodo de Cauchy com busca exata converge linearmente para x, com taxa de con-

vergncia

1 1n

.

Primeiramente note que o passo timo dado por

tk = (dk)Tdk

(dk)TAdk.

De fato,

d

dtf(xk +tdk) = f(xk +tdk)dk

= [A(xk +tdk) +b]Tdk

= [Axk +b+Atdk]Tdk

= [f(xk) +tAdk]Tdk

= f(xk)Tdk +t(dk)TAdk

Comotk o passo timo temos:f(xk)Tdk +t(dk)TAdk = 0.

Ento,tk=f(xk)dk

(dk)TAdk =

(dk)Tdk

(dk)TAdk.


25/53

15

No que segue, para facilitar a notao, sem perda de generalidade, vamos supor

quex= 0ef(x) = 0, isto ,

f(x) =1

2 xTAx.

Lema 3.3 DadoxIRn,x= 0, considered =Ax. Ento,dTd

dTAd x

TAx

xTA2x.

Demonstrao. TemosxTAx= dTA1dexTA2x= dTd.

De fato,

dTA1d= (Ax)TA1(Ax) =(xT)ATA1(Ax) =xTAx;

dTd= (Ax)T(Ax) =(xT)AT(Ax) =xTA2x.

Portanto,

dTd

dTAd

xTA2x

xTAx =

(dTd)2

(dTAd)(dTA1d) (3.2)

Como A > 0, pela decomposio de Choleski, existe G IRnn tal que A = GGT.

Fazendou = GT

dev = G1

d, temos que: uTv= (GTd)T(G1d) =dTGG1d= dTd;

uTu= (GTd)T(GTd) =dTGGTd= dTAd;

vTv= (G1d)T(G1d) =dT(G1)TG1d= dTA1d.

Pela desigualdade de Cauchy-Schwarz, temos

(dTd)2

(dTAd)(dTA1d) =

(uTv)2

(uTu)(vTv) = | u, v

|2

u, u v, v = | u, v

|2

||u||2||v||2 1.

Podemos concluir da equao(3.2)que:

dTd

dTAd

xTA2x

xTAx1, (3.3)

completando a prova.


26/53

16

Antes de enunciarmos o Teorema da Velocidade de Convergncia do Algoritmo

de Cauchy, vamos apresentar um resultado importante de matrizes simtricas, cuja de-

monstrao pode ser encontrada em (LEON, 1999).

Lema 3.4 SeAIRnn uma matriz simtrica com 1e nsendo o menor e o maiorautovalor, respectivamente, ento

1||x||2 xTAxn||x||2,

para todoxIRn.

Teorema 3.5 Considere a funo quadrtica

f(x) =1

2xTAx

e a sequncia (xk)gerada pelo Algoritmo 3.1, com busca exata. Se =

1 1

n,

ento ||xk+1|| ||xk||, para todokIN.

Demonstrao. Comodk =

f(xk) =

Axk, temos:

||xk+1||2 = (xk +tkdk)T(xk +tkdk)= (xk)Txk + (xk)Ttkd

k + (dk)Ttkxk + (dk)Tt2kd

k

= ||xk||2 + 2tk(xk)Tdk + (tk)2(dk)Tdk

= ||xk||2 + 2tk(xk)T(Axk) + (tk)2(Axk)T(Axk)= ||xk||2 2tk(xk)TAxk + (tk)2(xk)TA2xk

Pelo Lema 3.3 temos que:

(dk)Tdk

(dk)TAdk(xk)TA2xk (xk)TAxk.


27/53

17

Comotk = (dk)Tdk

(dk)TAdk >0, temos

(tk)2(xk)TA2xk =tk (d

k)Tdk

(dk)TAdk(xk)TA2xk tk(xk)TAxk.

Assim,

||xk+1||2 =||xk||2 2tk(xk)TAxk + (tk)2(xk)TA2xk ||xk||2 tk(xk)TAxk.

Caso xk = 0no h nada a fazer. Suponha ento que xk

= 0. Da relao

anterior obtemos

||xk+1||2||xk||2

||xk||2 tk(xk)TAxk||xk||2 = 1

tk(xk)TAxk

||xk||2 = 1 (dk)Tdk

(dk)TAdk (x

k)TAxk

(xk)Txk .(3.4)

Pelo Lema 3.4 temos

(dk)Tdk

(dk)TAdk 1

ne

(xk)TAxk

(xk)Txk 1.

Substituindo isto em(3.4), segue que

||xk+1||||xk||

21 1

n.

De acordo com a Definio 2.14, conclumos que a velocidade de convergncia

da sequncia gerada pelo Algoritmo de Cauchy linear, com taxa 1 1

n

.


28/53


29/53

19

4 MTODO DE NEWTON

O mtodo de Newton uma das ferramentas mais importantes em otimizao.

Tanto o algoritmo bsico quanto suas variantes so muito utilizados para minimizao.

Neste trabalho estudaremos o Mtodo de Newton puro. Para isso utilizaremos as

seguintes referncias (FRIEDLANDER, ; IZMAILOV; SOLODOV, 2007; RIBEIRO; KARAS,

2010).

4.1 Mtodo de Newton para Resoluo de Equaes

Considere F : IRn IRn de classeC1 e o problema de resolver o sistema(normalmente no linear)

F(x) = 0.

Como na maioria das vezes no conseguimos resolv-lo de forma direta, os proces-

sos iterativos constituem a forma mais eficiente de lidar com tais situaes. A idia

aproximarFpor seu polinmio de Taylor de primeira ordem. Dada uma estimativa x,

considere o sistema linear

F(x) +JF(x)(x

x) = 0, (4.1)

ondeJFrepresenta a matriz jacobiana deF. CasoJF(x)seja inversvel, o sistema (4.1)

pode ser resolvido, fornecendo

x = x (JF(x))1F(x).


30/53

20

Isto corresponde a uma iterao do mtodo de Newton para resoluo de equaes (veja

a Figura 5).

Figura 5: Uma iterao do Mtodo de Newton para equaes

4.2 Mtodo de Newton para Otimizao Irrestrita

Agora consideremos o problema de minimizao irrestrita

minf(x) e xIRn (4.2)

ondef : IRn

IR uma funo de classeC2

. Os pontos estacionrios deste problemaso caracterizados pela equaof(x) = 0. Vamos ento aplicar a relao(4.1)paraF : IRn IRn dada por

F(x) =f(x).

Seja xk IRn uma aproximao de um ponto estacionrio x do problema(4.2). A aproximao seguintexk+1 computada como soluo do sistema de equaes

lineares

f(xk

) + 2

f(xk

)(x xk

) = 0 (4.3)em relao axIRn. Supondo que2f(xk)seja no-singular para todo k , obtemos oesquema iterativo seguinte:

xk+1 =xk (2f(xk))1f(xk), k= 0, 1, ... (4.4)


31/53

21

4.3 Algoritmo

Com base na relao (4.4) podemos agora formalizar o mtodo de Newton paraminimizar a funo f. Basicamente, temos trs variantes do algoritmo. Uma delas o

mtodo puro, onde no fazemos busca unidirecional e aceitamos o passo completo

(tk = 1para todo k IN). As outras duas fazem uso de busca (exata ou Armijo), quepodem ser encontradas em (RIBEIRO; KARAS, 2010).

Algoritmo 4.1 Newton

Dado:x0

IRn

k= 0

REPITA enquanto f(xk)= 0

Definadk =(f(xk))1f(xk)

Determine o tamanho do passo tk >0

Faaxk+1 =xk +tkdk

k= k + 1

O Algoritmo de Newton pode no estar bem definido, caso a matriz Hessiana

2f(xk)seja singular. Alm disso mesmo que o passodk seja calculado, esta direopode no ser de descida. Entretanto, se2f(xk) definida positiva, ento o passo dkest bem definido e uma direo de descida.

O passo de Newton tambm pode ser obtido por uma abordagem diferente da

que foi exposta acima. Para isso considere a aproximao de Taylor de segunda ordem

def, dada por

p(x) =f(xk) + f(xk)T(x xk) +12

(x xk)T2f(xk)(x xk)

Com o objetivo de minimizarp, fazemos

f(xk) + 2f(xk)(x xk) =p(x) = 0,


32/53

22

obtendo exatamente o passodk do Algoritmo de Newton. (Veja a Figura 6).

Esta ltima abordagem sugere que se o Mtodo de Newton for aplicado em

uma funo quadrtica, ento basta uma iterao para resolver o problema. De fato,

considere a quadrticaf(x) =1

2xTAx+bTx+c. Dadox0 IRn, obtemos:

d0 =(2f(x0))1f(x0) =A1(Ax0 +b) =x0 A1b.

Portanto, o minimizadorx obtido em um s passo, pois

x1 =x0 +d0 =A1b= x.

Figura 6: Uma iterao do Mtodo de Newton

4.4 Convergncia

A direo de Newton pode no ser de descida, assim, no garantimos con-

vergncia global quando o problema a ser resolvido envolver uma funo arbitrria. No

entanto, para uma classe de funes convexas, podemos tirar concluses positivas.


33/53

23

Lema 4.2 Suponha que2f(x) > 0. Ento existem constantes > 0e M > 0taisque

2f(x)> 0e ||(2f(x))1|| M,

para todoxB(x, ).

Demonstrao. Seja > 0o menor autovalor de2f(x). Pela continuidade de2f,dado =

2existe >0tal que

||2f(x) 2f(x)||

2 , (4.5)

para todoxB(x, ). Assim, dadodIRn, com ||d||= 1, temos que

dT2f(x)d= dT2f(x)d+dT[2f(x) 2f(x)]d (4.6)

Note que, usando o Lema 3.4 temos quedT2f(x)d . Usando a desigualdade deCauchy-Schwarz temos que,

dT

[2

f(x) 2

f(x)]d ||d||||2

f(x) 2

f(x)||||d||

2 .

Assim, da relao(4.6)conclumos que

dT2f(x)d 2

=

2,

provando que2f(x) definida positiva para todo x B(x, ). Para provar a outraafirmao, considerexB(x, ). Vamos denotarA=2f(x)eB =2f(x). Usandonovamente o Lema 3.4, agora aplicado em A2, obtemos

||Ad||2 =Ad, Ad= (Ad)TAd= dTAtAd= dTA2d2dTd= 2||d||2

para tododIRn. Portanto, usando a relao (4.5), conclumos que

||Bd||=||Ad+ (B A)d|| ||Ad| || |(B A)d|| ||d|| 2||d||=

2||d||.


34/53

24

Considere agora y IRn, com||y|| = 1. Aplicando a relao acima para d = B1y,conclumos que

1 =||y||=||BB1y||

2 ||B1y||.Mas

||B1||= supx=0

||B1x||||x|| = supx=0

B1 x||x||

2 .

Pela desigualdade acima, definindoM= 2

, segue que

||(2f(x))1||=||B1|| M,

completando a demonstrao.

Lema 4.3 SejamUIRn aberto convexo e = supx,yU

||2f(x) 2f(y)||. Ento

||f(x) f(y) 2f(y)(x y)|| ||x y||,

para todox, yU.

Demonstrao. Fixandoy

U, considereh(x) =

f(x)

2f(y)x. Assim,

||Jh(x)||=||2f(x) 2f(y)||

para todoxU. Usando a Desigualdade do Valor Mdio, obtemos

||f(x) f(y) 2f(y)(x y)||=||h(x) h(y)|| ||x y||,


Lema 4.4 SejamU IRn aberto e convexo. Se 2f Lipschitz com constante L, ento

||f(x) f(y) 2f(y)(x y)|| L||x y||2,

para todox, yU.


35/53

25

Demonstrao. Fixados x, y U, defina = L||xy ||e h : IRn IRn dada porh(z) =f(z) 2f(y)z. Assim, para todoz[x, y], como 2f Lipschitz temos

||Jh(z)||=||2f(z) 2f(y)|| L||z y|| L||x y||= .

Usando a Desigualdade do Valor Mdio, obtemos

||f(x) f(y) 2f(y)(x y)||=||h(x) h(y)|| ||x y||= L||x y||2,


Teorema 4.5 Seja f : IRn

IRde classeC2

. Suponha que x IRn

seja um min-imizador local de f,com2f(x) definida positiva. Ento existe > 0 tal que sex0 B(x, ), o Algoritmo de Newton, aplicado comtk= 1para todokIN, gera umasequncia(xk)tal que:

(i) 2f(xk) definida positiva, para todokIN;

(ii) (xk)converge superlinearmente para x;

(iii)Se 2f Lipschitz, ento a convergncia quadrtica.

Demonstrao. Sejam 1 e Mas constantes definidas no Lema 4.2 e U1 = B(x, 1).

Assim, sexk U1, o passo de Newton est bem definido e, como f(x) = 0, vale

xk+1 x= (2f(xk))1(f(x) f(xk) 2f(xk)(x xk)). (4.7)

Pela continuidade de 2f, para = 14M

, existe2 >0tal que

||2f(x) 2f(x)|| 14M

,

para todoxB(x, 2).SeyB(x, 2), vale

||2f(y) 2f(x)|| 14M

,


36/53

26

Ento

||2f(x)

2f(y)

|| =

||2f(x)

2f(x) +

2f(x)

2f(y)

|| ||2f(x) 2f(x)|| + ||2f(y) + 2f(x)|| 1

4M +

1

4M =

1

2M

Portanto supx,yU

||2f(x) 2f(y)||< 12M

, ondeU=B(x, )e= min{1, 2}.Pelos Lemas 4.2 e 4.3, conclumos que

||xk+1 x|| ||(2f(xk))1||||f(x)f(xk)2f(xk)(xxk)|| M ||xkx||.

Portanto

||xk+1 x|| 12||xk x||.

Isto prova que a sequncia (xk)est bem definida, que xk U, para todo k INequexk x, donde segue(i). Vejamos que a convergncia superlinear. Dado >0,considere0 < tal que sup

x,yU

||2f(x) 2f(y)|| < M

, ondeU0 =B(x, 0). Tome

k0INtal quexk U0, para todokk0. Aplicando novamente os Lemas 4.2 e 4.3 narelao (4.7), obtemos

||xk+1 x|| ||xk x||,

provando assim(ii).

Finalmente, se2f Lipschitz, podemos usar os Lemas 4.2 e 4.4 em (4.7)para obter

||xk+1 x|| M L||xk x||2,



37/53

27

5 MTODO DA SEO UREA

Neste captulo apresentamos a anlise do Algoritmo da Seo urea e da sua

velocidade de convergncia. A referncia (NOCEDAL; WRIGHT, 1999;RIBEIRO; KARAS,

2010) sero utilizadas para este estudo.

5.1 Busca Unidimensional

Dadaf : IRn IR, e um ponto x IRn e uma direo de descida d IRn,queremos encontrart >0tal que

f(x+td)< f(x).

Figura 7: Busca unidimensional exata


38/53

28

Mais precisamente, temos que resolver o problema

minimizar(t) =f(x+td)

sujeito at >0.

Este problema , em geral, difcil de se resolver de forma exata. Entretanto,

para certas funes especiais, existem algoritmos para resolv-lo. Por isto, vamos

agora definir funo unimodal, para a qual existem algoritmos para minimiz-la. Em

seguida veremos o algoritmo da seo urea, que encontra um ponto prximo de um

minimizador com a preciso que se queira. (Conforme ilustrado na Figura 7).

5.2 Mtodo da Seo urea - Busca exata

Ao aplicarmos o Mtodo da Seo urea em funes unimodais obtemos re-

sultados satisfatrios, por isso definiremos a seguir este tipo de funo.

Definio 5.1 Uma funo contnua : [0, ) IR dita unimodal quando admiteum conjunto de minimizadores [t1, t2], estritamente decrescente em [0, t1]e estrita-

mente crescente em[t2, ).

Veja os exemplos de funes unimodais a seguir e note que o intervalo de

minimizadores[t1, t2]pode ser degenerado, como ilustrado no segundo grfico.

x1

x2

x1=x

2

Figura 8: Funes Unimodais


39/53

29

Para facilitar a descrio do algoritmo, vamos considerar a Figura 9.

a u v b

Figura 9: Seo urea

Descrio do Algoritmo

Suponha que o minimizador depertence ao intervalo[a, b]

i)Considerea < u < v < bem[0, )

ii)Se (u) < (v)ento o trecho(v, b]no pode conter o minimizador e pode ser

descartado.

iii)Se(u)(v)ento o trecho[a, u)pode ser descartado.

iv)Particione o intervalo que ficou e repita o processo.

Agora vamos analisar como o intervalo[a, b]deve ser particionado. A obteno

deste intervalo, que deve conter um minimizador deser tratada adiante. A estratgia

mais natural dividir o intervalo em trs partes iguais, ou seja, definir

u= a+13

(b a) e v= a+23

(b a).

Desta forma descartamos1

3do intervalo a cada iterao, conforme ilustrado na

Figura 10. Alm disso, se o intervalo descartado for o(v, b], temos como novo intervalo

[a+, b+], ondea+ =ae b+ = v , mas no podemos utilizar o antigo ponto u, calculado


40/53

30

na iterao anterior, o que uma desvantagem.

a bu v

a+

b+

u+

v+

Figura 10: Intervalo dividido em trs partes iguais

Uma outra estratgia escolheru e v que dividem o segmento[a, b]na razo

urea, de acordo com a definio dada seguir.

Definio 5.2 Um pontocdivide o segmento[a, b]na razo urea quando a razo entre

o maior segmento e o segmento todo igual razo entre o menor e o maior dos

segmentos. Tal razo conhecida como o nmero de ouro e vale

5 1

2 0.618.

Desta forma, temos queuev devem satisfazer

b ub a = u ab u e v ab a = b vv a (5.1)

Considerando1e 2tais que

u= a+1(b a) e v=a+2(b a) (5.2)

Substituindouem (5.1) temos:

b (a+1(b a))b

a

= a+1(b a) ab

(a+1(b

a))

(b a)(1 1)b a =

1(b a)(1 1)(b a)

Desta forma, obtemos:

1 1 = 11 1 (5.3)


41/53

31

Analogamente se substituirmosvem (5.1) obtemos:

2=1 2

2(5.4)

Comou, v[a, b], encontramos1 = 3

5

2 0, 382e2 =

5 1

2 0, 618. Das

relaes (5.3) e (5.4) temos:

(1 1)2 =1 (5.5)

E, ainda

(2)2

= 1 2 (5.6)Se = 1 1. Da relao (5.5),2 = 1 . Ento por (5.6), temos que = 2. Assimapresentamos outras duas relaes importantes:

(2)2 =1 e 1+2 = 1 (5.7)

Uma das vantagens da diviso na razo urea em relao diviso em trs

partes iguais que descartamos mais de 38% do intervalo ao invs de 33, 33%. Outra

vantagem, que podemos aproveitar o ponto u ou v aps termos descartado o intevalo

[v, b] ou [a, u] na iterao anterior. Indicamos por [a+, b+]o novo intervalo que ser

particionado pelos pontou+ ev+. Conforme veremos no prximo resultado, o pontov

aproveitado na prxima etapa e passa a ser u+ quando descartamos[a, u). Assim, o

valor da funo(v) aproveitado para a prxima etapa.


42/53

32

Lema 5.3 Na seo urea, se[a, u) descartado entou+ =v.

Demonstrao. Como[a, u]foi descartado entoa+ =ueb+ =b. Logo, temos que:

u+ = a+ +1(b+ a+)

= u+1(b u)= a+1(b a) +1(b (a+1(b a)))= a+ (21 (1)2)(b a)

Note que, da relao (5.7), temos (1)2 = 31 1. Ento,

u+ = a+ (21 31+ 1)(b a)= a+ (1 1)(b a)= a+2(b a) =v

A Figura 11 ilustra o Lema 5.3.

a bu v

a+

u+

v+

b+

Figura 11: Partio do intervalo[a, b]


43/53

33

Lema 5.4 Na seo urea, se(v, b] descartado entov+ =u.

Demonstrao. Como (v, b] descartado ento a+ = ae b+ = v. Usando (5.2) e arelao (5.6) obtemos:

v+ =a+ +2(b+ a+) = a+2(v a)

= a+2(a+2(b a) a)= a+2

2(b a)= a+1(b a) =u

A Figura 12 a ilustra o Lema 5.4.

a bu v

a+

b+

u+

v+

Figura 12: Partio do intervalo[a, b]

Apresentamos agora o algoritmo da seo urea, que tem duas fases. Na

primeira, obtemos um intervalo[a, b]que contm um minimizador de . A idia desta

etapa considerar um intervalo inicial[0, 2], com >0, e ampli-lo, deslocando para

a direita, at que um crescimento deseja detectado.

Na segunda fase, o intervalo[a, b] reduzido, por meio do descarte de subin-

tervalos, at que reste um intervalo de tamanho suficiente para que uma precisoseja

alcanada.


44/53

34

5.3 Algoritmo

Algoritmo 5.5 Seo urea

Dados >0; >0

Fase 1: Obteno do intervalo[a, b]

a0= 0,s0 = eb0 = 2

k= 0

REPITA enquanto(bk)< (sk)

ak+1=sk,sk+1=bke bk+1= 2bk

k= k + 1

a= ake b = bk

Fase 2: Obteno det[a, b]a0=a,b0 = b

u0 = a0+1(b0 a0),v0 = a0+2(b0 a0)k= 0

REPITA enquantobk

ak >

SE(uk)< (vk)

ak+1= ak,bk+1=vk,uk+1 = ak+1+1(bk+1 ak+1)

SENO

ak+1= uk,bk+1=bk,uk+1 = ak+1+2(bk+1 ak+1)

k= k + 1

Definat =

uk+vk

2

Mas o algoritmo realmente funciona? Na primeira fase, aps um nmero finito

de etapas possvel encontrar um intervalo [a, b] que contm pelo menos um mini-

mizador? Este um resultado que ser demonstrado no teorema a seguir.


45/53

35

Teorema 5.6 O Algoritmo da Seo urea, na primeira fase, encontra um intervalo

[a, b]que contm pelo menos um minimizador da funo em um nmero finito de iter-

aes.

Demonstrao. Vejamos inicialmente que o loop da primeira fase finito.

Suponha por absurdo que (bk) < (sk), para todo k IN. Ento sk , poissk+1 =bk = 2bk1 = 2s

k. Assim, existek INtal quesk t1. Como unimodal,ela no decrescente em [t1, ). Logo(bk) (sk), uma contradio. Portanto, aFase 1 do algoritmo termina em um certo k IN. Resta ver que o intervalo obtido defato contm um minimizador de. Temos dois casos a considerar.

(i)Caso sk < t1, temos bk > t2, pois do contrrio teramos (bk) < (sk).

Veja o primeiro grfico na Figura 13. Assim,

[t1, t2][sk, bk][ak, bk].

(ii)Caso sk t1, afirmamos que ak < t1(veja o segundo grfico na Figura13). De fato, note que

ak = 0, sek = 0

sk1, caso contrrio.

Se fossesk1 t1, teramos(bk1)(sk1)e a Fase 1 teria terminado na iteraok1 ao invs da iterao k. Temos entoak < t1 sk < bk, o que implica quet1[ak, bk].


46/53

36

Figura 13: Anlise da primeira etapa do algoritmo

A seguir enuciaremos o teorema que analisa se na segunda fase do algoritmo

ao descartar um dos intervalos aquele que sobrou contm um minimizador.

Teorema 5.7 Sejauma funo unimodal.

(i) Se (v) (u) e o intervalo [a, u) descartado, ento o intervalo que sobrou

[u, b]contm pelo menos um minimizador.

(ii) Se (v) > (u)e o intervalo (v, b] descartado, ento o intervalo que sobrou

[a, v]contm pelo menos um minimizador.

Demonstrao. Considere[t1, t2]o intervalo de minimizadores da Definio 5.1.

(i)Suponha por absurdo que no existe minimizador em(u, b], portanto, existe

um mnimo t [a, u). Note quet2 < upois do contrrio teramos t2 > be assim[u, b][t, t2][t1, t2], o que uma contradio, pois estamos supondo que no existeminimizador em(u, b]. Veja ilustrao na Figura 14. Como unimodal, ou seja,

estritamente crescente em[t2, ), temos quet2 < u < v, implica em (u) < (v), oque contradiz a hiptese.


47/53

37

(ii)Suponha por absurdo que no exista minimizador no intervalo [a, v], por-

tanto existe um mnimot (v, b]. Note quet1 > vpois do contrrio teramost1 < ae

assim[a, v][t1, t][t1, t2], o que uma contradio, pois estamos supondo que noexiste minimizador em[a, v]. Como unimodal, ou seja, estritamente decrescente

em[0, t1], temos queu < v < t1, implica em(u) > (v), o que contradiz a hiptese.

Figura 14: Anlise do item(i)do teorema 5.7

5.4 Convergncia do Mtodo da Seo urea

Antes de analisarmos a convergncia do mtodo, iremos enunciar um teorema

auxiliar que prova a convergncia do tamanho do intervalo [ak, bk]obtido na primeira

etapa que contm o minimizador da funo.

Teorema 5.8 Seja[ak, bk]o intervalo obtido pelo algoritmo da seo urea, ento

bk ak0.

Demonstrao. Sejark o tamanho do intervalo[ak, bk], ou seja, rk = bkak. Comoo Mtodo da Seo urea descarta mais de 38% do intervalo[a0, b0], ou seja, descarta

1 = 3 5

2 0.382, temos que b1a1 = r1 = r01r0 = r02. Repetindo o

processo com o intervalo de cada iterao, temos:

b2 a2=r2 = r02 1(r02) =r02(1 1) =r0(2)2

bk ak =r0(2)k


48/53

38

Comor0 >0 uma constante e 2(0, 1),

limk

r0(2)k =r0 lim

k

(2)k = 0.

Conclumos, assim quebk ak0.

E as sequncias(ak),(uk),(vk)e(bk)convergem? Como as sequncias(ak)e

(bk)so montonas, limitadas inferiormentes pora0e superiormente por b0, de acordo

com o Teorema 2.9 estas sequncias convergem. O prximo teorema estabelece a con-

vergncia para um minimizador de .

Teorema 5.9 Sejauma funo unimodal conforme a Definio 5.1. Ento as sequn-

cias(ak),(uk),(vk)e(bk)convergem para um minimizador deem[t1, t2].

Demonstrao. Como(ak) no decrescente e limitada temos aka. Alm disso,(bk) no crescente e limitada. Entobkb. Sabemos pelo Teorema 5.8 que ak bk0,masak bka b. Logo,a = b = t.Comoak uk vk bk, o teorema do confronto garante que

uk t e vk t.

Devemos agora provar que t um minimizador de . Seja rk um minimizador de

em[ak, bk]. Ento, pelo Teorema do Confronto temos que rk t. Como(rk) umasequncia de minimizadores da funo que pertencem ao conjunto [t1, t2] e ainda,

rk t, temos que t ponto de acumulao de [t1, t2]. Mas [t1, t2] fechado, logot[t1, t2].

Agora vejamos um caso particular de funo unimodal. Considere que a funo

seja quadrtica, ou seja, tenha apenas um minimizadort, assimt1 =t2 =t. Comosugere a Figura 15, provaremos que o minimizador da funo objetivo pertence a todo

intervalo[ak, bk].


49/53

39

Figura 15: Todos os intervalos[ak, bk]contm o minimizador da funo quadrtica.

Teorema 5.10 Seja t o minimizador da funo quadrtica, ento t [ak, bk], paratodo k.

Demonstrao. Suponha que na primeira iterao do Mtodo da Seo urea, [a0, u0)

foi descartado. (O outro caso anlogo) Pelo lema 5.3 temos quea1 = u0e b1 = b0.

Assim,t [a1, b1][a0, b0]. Aplicando o algoritmo sucessivamente, temos que

t [an, bn][an1, bn1] [a0, b0].

Assim temos quet [ak, bk]para todokIN.

Teorema 5.11 Seja (tk) a sequncia definida por tk = uk+vk

2 =

ak+bk2

e t o

minimizador da funo quadrtica. Ento tkt.

Demonstrao. De acordo com o Teorema 5.10 temos quebk

ak

0. E pelo Teorema

5.10 temos que t [ak, bk], para todo k. Como (tk) [ak, bk], conclumos que tkconverge para o minimizadort.


50/53

40


Provaremos que a velocidade de convergncia da sequncia bk linear comtaxa de convergncia igual ao nmero de ouro. Suponha que o intervalo(vk, bk] foi

descartado. Assim temos queak+1 = ak,vk+1=uke bk+1 = vk.

Teorema 5.12 As sequncias(ak)e (bk)geradas pelo Algoritmo da Seo urea tem

convergncia linear e a taxa de convergncia 2, ou seja,||bk+1t|| 2||bkt||para todokIN.

Demonstrao. Para simplificar a notao vamos suprimir o indice k. Considere a

funog : [a, v]IR, ondeg(t) = vk tbk t , temos que:

g(t) = (1)(b t) (a+2(b a) t)(1)

(b t)2

= b+t+a+2(b a) t

(b t)2

= (b a)(1 +2)

(b

t)2

= 1(b a)

(b t)2


51/53

41

6 CONCLUSO

Neste trabalho, utilizamos alguns conceitos de Anlise para introduzir o estudo

de velocidade de convergncia das sequncias geradas pelos algoritmos clssicos de

otimizao irrestrita. Concentramos nosso estudo em trs velocidades de convergncia:

linear, superlinear e quadrtica.

Como para fins prticos fundamental que os algoritmos tenham uma con-

vergncia rpida, discutimos alguns mtodos clssicos para otimizao irrestrita. O

mtodo de Cauchy que faz a cada iterao uma busca unidirecional na direo de maior

decrescimento da funo, ou seja, na direo oposta ao gradiente. A sequncia gerada

por este algoritmo tem convergncia global e a velocidade de convergncia linear. Se a

funo objetivo for de classeC2 e o ponto inicial estiver prximo de um minimizador,o mtodo de Newton gera uma sequncia que converge superlinearmente. Caso a Hes-

siana da funo a ser minimizada seja Lipschitz, ento a convergncia do mtodo de

Newton quadrtica. Concluindo assim, que o Algoritmo de Newton encontra o mini-

mizador mais rapidamente que o Algoritmo de Cauchy.

Nos mtodos de busca unidimensional, precisamos minimizar uma funo a

partir de um certo ponto, segundo uma direo dada, que a direo de busca. Este

problema equivalente a minimizar uma funo real de uma varivel, um dos mtodosque podem ser usados para resolver este problema o Mtodo da Seo urea, que faz

a minimizao exata desta funo. Analisamos as etapas deste algoritmo, ou seja, se

na primeira fase o algoritmo encontra o intervalo com pelo menos um minimizador, o

que de fato ocorre, alm de que ao descartar intervalos em cada iterao do algoritmo, o


52/53

42

intervalo que sobrou contm pelo menos um minimizador. Mostramos que o algoritmo

realmente converge para um minimizador. E finalmente, demonstramos que a sequn-

cia (ak)ou (bk) gerada pelo algoritmo converge linearmente, com taxa o nmero deouro. Realizamos o estudo deste captulo com base nas literaturas j citadas ao longo

do trabalho, mas os resultados demonstrados obtemos com um estudo independente.


53/53

43

Referncias

FRIEDLANDER, A.Elementos de Programao No-Linear. [S.l.]: Unicamp.

IZMAILOV, A.; SOLODOV, M.Otimizao: Mtodos Computacionais. Rio deJaneiro: IMPA, 2007.

LEON, S. J.lgebra Linear com Aplicaes. Rio de Janeiro: [s.n.], 1999.

LIMA, E. L.Curso de Anlise, v 1. Rio de Janeiro, Brasil: IMPA, 1981.

LIMA, E. L.Curso de Anlise, v 2. Rio de Janeiro, Brasil: IMPA, 1981.

MOTA, A. M.Convergncia de Algoritmos para Programao No-linear. Brasil,2005.

NOCEDAL, J.; WRIGHT, S. J.Numerical Optimization. [S.l.]: Springer-Verlag, 1999.(Springer Series in Operations Research).

RIBEIRO, A. A.; KARAS, E. W.Um Curso de Otimizao. [S.l.: s.n.], 2010.

Velocidade de Convergência de Métodos de Otimização Irrestrita - Flavia Mescko Fernandes

Documents

Transcript of Velocidade de Convergência de Métodos de Otimização Irrestrita - Flavia Mescko Fernandes