METODOSCOMPUTACIONAISDEOTIMIZACAOJoseMarioMartnezSandraAugustaSantosDepartamentodeMatem aticaAplicadaIMECC-UNICAMP1995Atualizadoemdezembrode1998INDICE1. INTRODUC AO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1UMACLASSIFICAC AOINFORMAL. . . . . . . . . . . . . . . . . . . . . . . . . . 11.2UMPROBLEMADEESTIMAC AODEPARAMETROS . . . . . . 31.3DEFININDOMINIMIZADORES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72. CONDIC OESDEOTIMALIDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.1RESTRIC OESEMFORMATOGERAL. . . . . . . . . . . . . . . . . . . . . . 122.2RESTRIC OESDEIGUALDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.3RESTRIC OESDEDESIGUALDADE. . . . . . . . . . . . . . . . . . . . . . . . . 202.4RESTRIC OESDEIGUALDADEEDESIGUALDADE . . . . . . . 223. CONVEXIDADEEDUALIDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.1CONVEXIDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263.2DUALIDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324. MINIMIZAC AODEQUADRATICAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374.1QUADRATICASSEMRESTRIC OES . . . . . . . . . . . . . . . . . . . . . . . . 374.1.1USANDOFATORAC OES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414.1.2OCASOESPARSO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444.1.3METODOSITERATIVOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454.2QUADRATICASEMBOLAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544.3QUADRATICASEMCAIXAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605. SISTEMASDEEQUAC OESNAO-LINEARES. . . . . . . . . . . . . . . . . . . . 735.1OMETODODENEWTON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745.2METODOSQUASE-NEWTON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765.3METODOSDENEWTONINEXATOS. . . . . . . . . . . . . . . . . . . . . . . 795.4CONVERGENCIALOCAL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835.4.1OTEOREMADASDUASVIZINHANC AS . . . . . . . . . . . . . 855.4.2CONVERGENCIAQUADRATICADENEWTON. . . . . . 875.4.3CONVERGENCIADOSQUASE-NEWTON. . . . . . . . . . . . 895.4.4CONVERGENCIADOSNEWTONINEXATOS . . . . . . . . 956. MINIMIZAC AOIRRESTRITAEBUSCALINEAR. . . . . . . . . . . . . . . 99i6.1ALGORITMOSGERAIS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996.2OMETODODENEWTON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1076.3METODOSQUASE-NEWTON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1126.4METODOSDENEWTONTRUNCADOS. . . . . . . . . . . . . . . . . . . 1227. REGIOESDECONFIANC A. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1257.1ALGORITMOGERAL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1267.2METODODENEWTON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1277.3MINIMIZAC AOEMCAIXAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1358. MINIMIZAC AOUNIDIMENSIONAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1458.1METODOSDIRETOSPARAREDUC AODEINCERTEZA. 1458.2APROXIMAC OESPOLINOMIAIS . . . . . . . . . . . . . . . . . . . . . . . . . . 1488.3TECNICASDEMINIMIZAC AOGLOBAL. . . . . . . . . . . . . . . . . . 1529. RESTRIC OESLINEARES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1559.1IGUALDADES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1569.2ESTRATEGIADERESTRIC OESATIVAS. . . . . . . . . . . . . . . . . . 1589.3SAINDODAFACE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1619.4REDUC AOACAIXAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1639.5PONTOSINTERIORES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16610. PENALIDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17110.1METODOSDEBARREIRAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17210.2PENALIDADEEXTERNA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17910.3LAGRANGIANOAUMENTADO. . . . . . . . . . . . . . . . . . . . . . . . . . . 18811. GRADIENTEREDUZIDOGENERALIZADO. . . . . . . . . . . . . . . . . . . 19511.1RESTRIC OESDEIGUALDADE. . . . . . . . . . . . . . . . . . . . . . . . . . . 19611.2GRGCOMDESIGUALDADES . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20011.3IMPLEMENTAC AOCOMPUTACIONAL. . . . . . . . . . . . . . . . . . 20212. PROGRAMAC AOQUADRATICASEQUENCIAL. . . . . . . . . . . . . . 20512.1PROGRAMAC AO QUADRATICASEQUENCIAL PURA 20612.2FORC ANDOSOLUBILIDADEDOSUBPROBLEMA. . . . . . 20812.3AFUNC AODEMERITO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21012.4DECRESCIMOSUFICIENTE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21312.5OPARAMETRODEPENALIDADE. . . . . . . . . . . . . . . . . . . . . . . 21612.6OALGORITMOESTABEMDEFINIDO. . . . . . . . . . . . . . . . . . 21912.7APROVADECONVERGENCIAGLOBAL. . . . . . . . . . . . . . . . 223ii12.8AHESSIANADAQUADRATICA. . . . . . . . . . . . . . . . . . . . . . . . . 22612.9OUTRASFUNC OESDEMERITO. . . . . . . . . . . . . . . . . . . . . . . . . 22912.10NOTASHISTORICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233BIBLIOGRAFIA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237iiiChapter1Introdu caoOtimiza c aoeumproblemamatem aticocommuitasaplica c oesnomundoreal. Consisteemencontrar os mnimos oum aximos deumafun c aodev ariasvari aveis, comvaloresdentrodeumadeterminadaregi aodoespa comulti-dimensional. Osrespons aveispelatomadadedecis oesnosmaisvari-adoscamposdaatividadehumanadefrontam-se, cotidianamente, comessetipode necessidade.`As vezes, andole doproblema, ademandadere-sultadosprecisos, ouapr opriacuriosidade, levaaformalizarvari aveis, re-stri c oes eobjetivos, demaneiraqueanaturezamatem aticadoproblemaemerge. Esseeoprocessodemodelagem, quedescobreisomorsmosentrearealidadeempricaeoidealismodosobjetos matem aticos. Noentanto,acorrespondenciaentreexperienciaemodeloformalest alongedeserper-feita: a tradu c ao est a sujeita a erros, simplica c oes e falhas de comunica c ao.Notavelmente, aproblem aticadeadequar ummodelomatem aticoaumasitua c aoreal tambempodeserformuladacomoumproblemamatem atico,quasesempredeotimiza c ao.1.1 Umaclassica caoinformalOproblemaaserconsideradonestelivroeoseguinte:Minimizarf(x)sujeitaax IRn. (1.1.1)Afun c ao f e chamada fun c ao objetivo e o conjunto , freq uentementedenido por um conjunto de igualdades e desigualdades, e o conjunto factvel.Ospontosdeser aoospontosfactveisde(1.1.1).12 CHAPTER1. INTRODUCAODe fato, estamos t ao interessados em minimizar como em maximizar fun c oes,masfalaremosapenasdeminimizardadoque,claramente, maximizarf(x)emumaregi aoqualquerdoespa coIRneequivalenteaminimizar f(x)namesma regi ao. As solu c oes x do problema (1.1.1) ser ao chamadas min-imizadoreseosvalorescorrespondentesf(x)s aoosmnimosdoproblema.Quase sempre assumiremos a continuidade de fe, com freq uencia um poucomenor, a existencia de derivadas primeiras contnuas.`As vezes, vamos suportambemqueftemderivadassegundascontnuas.Conforme as caractersticasdo conjunto ,teremosos diferentesproblemasdeotimiza c ao: ProblemaIRnminimiza c aosemrestri c oesx IRn[ l x u minimiza c aoemcaixasx IRn[ Ax = b, A IRmn minimiza c aocomrestri c oeslinearesdeigualdadex IRn[ Ax = b, Cx d minimiza c aocomrestri c oeslinearesx IRn[ h(x) = 0, h : IRnIRm minimiza c aocomrestri c oesdeigualdadex IRn[ h(x) = 0, h : IRnRmproblemageraldeeg(x) 0, g: IRnIRp programa c aon aolinearQuandovews aovetores,anota c aov wsignicar asemprevi wiparatodas suas coordenadas. Assim, quandofalamos dacaixal x u,entendemos oconjuntodosx IRntais queli xi uiparatodoi =1, . . . , n. Oproblemageral deprograma c aon aolinear podeser reduzidosempreaumaformapadr aomedianteaintrodu c aodevari aveisdefolga.Comefeito, observamosqueoconjuntodosx IRntais queh(x) =0eg(x) 0coincidecomoconjuntox IRn[ h(x) = 0eg(x) +z= 0paraalgumz 0.Portanto,oproblemaMinimizarf(x)sujeitaah(x) = 0, g(x) 0, (1.1.2)ondeh : IRnIRm,g: IRnIRp, eequivalenteaMinimizarf(x)sujeitaah(x) = 0, g(x) +z= 0, z 0. (1.1.3)1.2. UMPROBLEMADEESTIMACAODEPARAMETROS 3Agora,mudandoosnomesdevari aveisefun c oes,(1.1.3)temaformageralMinimizarf(x)sujeitaah(x) = 0, x 0. (1.1.4)Aforma(1.1.4) deumproblemadeprograma c aon aolinear sedenominaformapadr ao. Quandoumproblemadotipo(1.1.2)etransformadonasuaformapadr ao, on umerodevari aveiseaumentadoemp.`Asvezes, issoeumadesvantagem. Noentanto, atransforma c aomuitas vezes sejusticaporconsidera c oesalgortmicas,comoveremosemcaptulosfuturos.Nestelivroaenfaseestar acolocadaemfun c oesobjetivof(x)n aolineares.Quandof elinear(f(x)=cTxparaalgumc IRn)oproblemademin-imiza c aocomrestri c oes lineares e chamadode problemade programa c aolinear. Nasuaformapadr ao,esteproblema eMinimizar cTxAx = bx 0 .(1.1.5)O conte udo deste livro se aplica a programa c ao linear, embora, pela especi-cidade deste problema, muito desse conte udo seja superuo. Por outro lado,as particularidades do problema (1.1.5) permitem um tratamento muito maisrico e detalhado, que n ao ser a feito aqui. Em menor medida, essa observa c aovaletambemnocasoemqueafun c aoobjetivoequadr aticaeasrestri c oeslineares,chamadoproblemadeprograma c aoquadr atica.1.2 Umproblemadeestima caodeparametrosQuando opontodepartida eumproblemareal,podemexistirv ariosprob-lemas matem aticos deotimiza c aoassociados, vinculados adiferentes for-mula c oesouadiferentestecnicasderesolu c ao. Nestase c aoapresentamosumproblemadeestima c aodepar ametrosoriginadonaOtica, paraoqualexibimos algumas formula c oes sob o ponto de vista da otimiza c ao. Ver [189],[33].Um lme e um material muito no, cuja espessura, ndices de refra c ao e coe-cientes de absor c ao se deseja estimar. Esses par ametros n ao s ao suscetveisdemedi c aodireta,ouseja,devemserinferidosdamedi c aodeoutramagni-tude fsica. O experimento que gera a medi c ao indireta consiste, brevemente,noseguinte: coloca-seomaterial emcimadeumsubstratotransparenteeatravessa-se lme e substrato com luz de diferentes comprimentos de onda.4 CHAPTER1. INTRODUCAOParaxarideias,essescomprimentospodem irdesde800ate2000,comin-tervalosde 10, nas unidades adequadas. Para cada comprimento de onda ,mede-seatransmiss aoT() [0, 1],isto e,o quociente,adimensional,entrealuzqueatravessaolmeealuzemitida. Teoricamente,T()serelacionacomaespessura(d),ocoecientedeabsor c ao(())eo ndicederefra c aodo lme (n()) atraves das seguintes f ormulas (por simplicidade, escrevemosT= T(),n = n(), = ()):T=A

xB

C

x +D

x2, (1.1.6)ondeA

= 16s(n2+k2) (1.1.7)B

= [(n + 1)2+k2][(n + 1)(n +s2) +k2] (1.1.8)C

= [(n21 +k2)(n2s2+k2) 2k2(s2+ 1)]2cosk[2(n2s2+k2) + (s2+ 1)(n21 +k2)]2sin (1.1.9)D

= [(n 1)2+k2][(n 1)(n s2) +k2] (1.1.10) = 4nd/, x = exp(d), k = /(4). (1.1.11)Nasf ormulas(1.1.6)(1.1.11)s eo ndicederefra c aodosubstrato,supostoconhecido e constante para todo . O experimento fsico fornece uma tabelade dados onde a coluna da esquerda s ao os comprimentos de onda iusados,desde1=800atem=121=2000, eacolunadadireitaest aformadapelas medidas correspondentes detransmiss ao(Ti). As f ormulas (1.1.6)(1.1.11)denemafun c aote oricaT(, d, n, ). Portanto, aprimeiravista,oobjetivopareceserencontrardeni, i, i=1, . . . , mtaisque, paratodoi = 1, . . . , m,T(i, d, ni, i) = Ti. (1.1.12)Agora, paracada valor possvel daespessurad, a equa c ao (1.1.12) temduasinc ognitas, niei. Portanto, omaisprov avel equetenhainnitassolu c oeseque,defato, n aosejadifcilencontrarpelomenosuma. Porex-emplo, xandoarbitrariamentenieresolvendo(1.1.12)paraaagora unicainc ognitai. Claroqueessen aopodeser oprocedimentoqueresolvaoproblemafsico. Fsicamente, oproblemadevetersolu c ao unica,enquantodamaneiradescrita,innitassolu c oesdiferentespoderiamserencontradas.De fato, os graus de liberdade inerentes a (1.1.12)s ao drasticamente reduzi-dos incorporando informa c oes sicamente conhecidas, algumas obvias, sobred,en. Essasinforma c oess ao:1.2. UMPROBLEMADEESTIMACAODEPARAMETROS 5(a) Tanto a espessura como os coecientes nie is ao positivos. Mais ainda,os ndicesderefra c aos aomaioresouiguaisa1.(b) ()deveser uma fun c ao decrescentee convexa(derivada segunda pos-itiva).(c) n() deve ser uma fun c ao decrescentee, tambem,com derivada segundapositiva.Ascondi c oes(a), (b)e(c)devemsertraduzidascomorestri c oesdoprob-lemadeestimarospar ametros. Ouseja,devemserencontradasexpress oesmatem aticas envolvendo d, i e ni que espelhem essas condi c oes. Discretizandoasderivadassegundasde()en(),essasexpress oess ao:d 0, ni 1, i 0paratodoi = 1, . . . , n; (1.1.13)i+1 ieni+1 niparatodoi = 1, . . . , m1; (1.1.14)ni ni1 +ni+1ni1i+1i1(ii+1)ei i1 +i+1i1i+1i1(ii+1)(1.1.15)paratodoi = 2, . . . , m2.Considerando oobjetivo(1.1.12)easrestri c oes(1.1.13),(1.1.14)e(1.1.15),oproblemadeestima c aodospar ametrospodeagorasermodeladoassim:Minimizarm

i=1[T(i, d, ni, i) Ti]2sujeitaa(1.1.13), (1.1.14)e(1.1.15).(1.1.16)Observamos que (1.1.16)eum problema de minimiza c aocomrestri c oeslin-earesondeh a2m + 1vari aveis. Seatabeladedados(i, Ti)obedecesseperfeitamente` asf ormulaste oricas deveriaexistir umasolu c aode(1.1.16)onde ovalor dafun c aoobjetivo seria0. Comdados experimentais n aoe isso o que acontece. De fato, o que se observa nesse caso, usandoometodoadequadopararesolver (1.1.16) e aapari c aodesolu c oesondeafun c aoobjetivotomaumvalorsensivelmentemaiorque0. Istosedeve,alem dos erros de medi c ao que neste caso s ao, provavelmente,desprezveis, aqueasuposi c aosubstratotransparentecomsconstanteeessencialmentefalsa. Com efeito, para determinadas zonas do espectro (valores de ) o sub-stratousadotemumcoecientedeabsor c aopositivo(n aoetransparente)e, portanto, paraessas zonas asequa c oes (1.1.6)-(1.1.11) n aoseaplicam.Piorainda, adistin c aoentrevaloresdeparaosquaisosubstraton aoe6 CHAPTER1. INTRODUCAOtransparentedaquelesparaosquaise, n aoetotalmenteclara. Ograudeaplicabilidadede(1.1.6)-(1.1.11) edefato, umcontnuo, variandoentreaaplicabilidadeean aoaplicabilidadeabsoluta. Umexperimentoadicional,que mede a transmiss ao produzida apenas pelo substrato (sem o lme), per-mitequanticarograude aplicabilidadedas f ormulas. Diremos,ent ao,quealgumasequa c oes(1.1.12)devemsersatisfeitascomumpesoaltoeoutrascomumpesomuitobaixo. Atribuindoefetivamenteumpesoi> 0acadaequa c ao, deacordocomatransparenciadosubstratoparaocomprimentodeondai,oproblema(1.1.16)esubstitudoporMinimizarm

i=1i[T(i, d, ni, i)Ti]2sujeitaa(1.1.13), (1.1.14)e(1.1.15).(1.1.17)Aatribui c aodepesos ` as diferentes linhasdatabelaoriginal temoefeitopr aticodeeliminarainuenciadospontosondeomodeloest aclaramenteerrado. Istoaumentaosgrausdeliberdadedosistematotal,epossibilitaaexistenciademuitassolu c oesde(1.1.17),onde afun c aoobjetivotemprati-camente omesmovalor. Ometododeotimiza c aoencontrouumadessassolu c oes.`As vezes, pela observa c ao da solu c ao obtida, o fsico tem condi c oesde decidirse ela erazo aveloun ao. Nesteproblema particular,nosso exper-imentadorencontraumacaractersticadafun c aoconsideradaindesej avelesemsentidofsico: apesar deserdecrescenteeconvexa,afun c aoobtidaest aformadapor 4segmentos dereta, violandoumasuavidadeadicionalesper avel nocoecientedeabsor c aoreal. Comoospontosdequebradosdiferentessegmentosderetapodemserconsideradoscomopontosondeacurvatura da fun c ao e muito grande, optamos por limitar o raio de curvaturade e incluir explicitamenteessa limita c aono modelo. O c alculoelementarnosensinaqueoraiodecurvaturaR()de()edadopor1R()=

()(1 +

()2)32. (1.1.18)Discretizando

e

daformausual, paratodoi, i =2, . . . , m 1, eestabelecendo umalimita c ao >0para acurvaturaobtemos as novasrestri c oes

(i)(1 +

(i)2)32 , (1.1.19)ondeasderivadasdevemserinterpretadascomosuadiscretiza c aousandoi1, i+1ei.Acrescentando(1.1.19)nomodelo(1.1.17)passamosaterm 2restri c oesadicionais, todas elas n aolineares. Oproblemacousensivelmente mais1.3. DEFININDOMINIMIZADORES 7difcil,massuasolu c aotemmaioreschancesdepossuirsentidofsico. Umaalternativa, motivadapelofatode que, estritamente falando, acotaearbitr aria,consisteemincorporarasrestri c oes(1.1.19)nafun c aoobjetivo.Assim,afun c aoobjetivode(1.1.17)passariaaserm

i=1i[T(i, d, ni, i) Ti]2+m1

i=2

(i)(1 +

(i)2)32. (1.1.20)Em (1.1.20), e um par ametro que castigao fato de se ter uma curvaturagrandeemi. Destamaneira, n aoe necess arioacrescentar as restri c oes(1.1.19)noproblema(1.1.17).Ainclus aode(1.1.19)nasuaformaoriginalousobaforma(1.1.20)reduz,claramente, os graus de liberdade do problema e, em conseq uencia,aumentaaprobabilidadedeencontrarcoecientescomsentidofsico. Seisso eefeti-vamenteconseguidodependede(muita)experimenta c aonumerica, di alogocomoscientistasexperimentaisesensibilidadeespecca. Aconstru c aodeumbommodelodeotimiza c aoraramenteseesgotaemdoisoutrespassosdedi alogo.1.3 DenindominimizadoresDaremos sentidos precisos aos termos minimizador e mnimousados nasse c oesanteriores. Basicamente, veremosqueessestermospodemterdoissignicados:(a)Dizemosquexeminimizadorglobal de(1.1.1) sef(x) f(x)paratodox . Nestecaso,f(x) echamadomnimodefem.(b)Dizemosquexeminimizadorlocal de(1.1.1)seexiste>0tal quef(x) f(x)paratodox talque |x x| .Tambem, costuma-sedizerquexeminimizadorlocal estritode(1.1.1)seexiste > 0 talque f(x) < f(x) para todo x tal que 0 < |xx| .Claramente,todososminimizadoresglobaistambems aominimizadoreslo-cais.Ef acilverque,poroutrolado,apesardepoderadmitirmuitosmini-mizadores globais, o valor do mnimo global e sempre o mesmo. Por exemplo,numa fun c ao constante, todos os pontos de s ao minimizadores globais, masemtodoselesovalordefeigual.8 CHAPTER1. INTRODUCAOLembramos que um conjunto compacto e tal que toda seq uencia xk admiteumasubseq uenciaconvergente. Olimitedessasubseq uenciadevepertencer a. Por outrolado, emIRn, os conjuntos compactos s aoex-atamente os fechados elimitados. Comoaimageminversadeconjuntosfechadosporfun c oescontnuasefechada, oconjuntofactvel doproblemageraldeprograma c aolinear efechadonocasousualemqueasfun c oesgiehis aocontnuas. Portanto, parasercompacto, esseconjuntoprecisa, ape-nas,serlimitado. Oseguinteteorema, deprovabastantesimples,eomaisimportantedaminimiza c aoglobal.Teorema1.3.1-Bolzano-WeierstrassSe ecompacto,ef: IR econtnua,ent aoexistex minimizadorglobal doproblema(1.1.1).Prova: Consideremosprimeiroapossibilidadedequef n aosejalimitadainferiormenteem. Ent ao,paracadak ^,existexk talquef(xk) k,portanto,limkf(xk) = . (1.1.21)Comoecompacto, existe K1umsubconjuntoinnitode ^tal queasubseq uencia xkkK1convergeaumpontode, digamosx. Pelacon-tinuidadedef,istoimplicaquelimkK1f(xk) = f(x),oqueentraemcontradi c aocom(1.1.21).Podemosaceitar,portanto,quefelimitadainferiormenteem. Seja=infxf(x) > .Peladeni c aode nmo,paratodok ^,existexk talque f(xk) +1k,portantolimkf(xk) = .1.3. DEFININDOMINIMIZADORES 9Seja xkkK1umasubseq uenciaconvergentede xkesejaxseulimite.Ent ao,pelacontinuidadedef,=limkK1f(xk) = f(x).Ouseja,f(x)assumeovalor nmodefnoconjunto. Istoimplicaquexeminimizadorglobalde(1.1.1). QEDExerccio 1.1: As restri c oes doproblema(1.1.17) podemser expressascomoAx b, l x u. IdenticaramatrizAeosvetoresb,leu.Exerccio1.2: Encontrarexemplosondetodosospontosdes aomini-mizadoreslocaismasf(x) ,= f(y)sex ,= y.Exerccio1.3: DesenharconjuntosemIR2ecurvasdenveldefun c oesftais que existam v arios minimizadores locais,globais,locais e globais,etc.Exerccio1.4: DemonstraroteoremaBolzano-Weierstrasspara ocasoemquefesemi-contnuainferiormente.Exerccio1.5: Mostrar, comexemplos, queacontecequandoaship otesesdecontinuidadeecompacidadedoteoremaBolzano-Weierstrasss aoelimi-nadas.Exerccio1.6: Provar que se fe contnuaem IRne limxf(x) = ent aoftemminimizadorglobalemIRn.Exerccio1.7: Provarque sefecontnuaemIRne,dadox0 IRn,ocon-junto de nvel x IRn[ f(x) f(x0) e limitado, ent ao ftem minimizadorglobalemIRn.10 CHAPTER1. INTRODUCAOChapter2Condi c oesdeotimalidadeNestelivrotratamosdemetodosparaminimizarfun c oesdiferenci aveisemconjuntos de IRn. As condi c oes de otimalidade s ao rela c oes entre as derivadasdafun c aoobjetivoe as derivadas das fun c oes que denemas restri c oes.Ascondi c oes necess arias devemser obrigatoriamentesatisfeitas pormini-mizadores,enquantoascondi c oessucientes,quandosatisfeitas,asseguramqueopontoemconsidera c aoeumminimizadorlocal.As derivadas (sobretudoas primeiras, ` as vezes tambemas segundas) dafun c aoobjetivoedasrestri c oess aoomotordamaioriadosalgoritmosqueestudaremos, damesmamaneiraque a potencialidade de movimento deumapartculase encontranasuavelocidade e acelera c ao. As condi c oesnecess ariasdeotimalidadev aonosdizerseasderivadasenvolvidascontemogermenecess arioparaimprimirumdeslocamentoquediminuaovalordafun c aoobjetivo. Osmetodosqueestudaremosemcaptulosposteriores-camest aticos emcimadeumpontoquesatisfazcondi c oesnecess ariasdeotimalidade,mesmoqueesseponton aosejaminimizadorlocalnem,muitomenos, global. Analogamente, quandoestudamosconvergenciadealgorit-mos baseados emderivadas, podemos garantir apenas aestacionariedade(istoe, asatisfa c ao de condi c oes necess arias de otimalidade) dos pontosatingveisnolimite.Freq uentemente, pontoslimitedealgoritmoss aominimizadores,sobretudoquando o metodo trabalha ativamente diminuindo o valor da fun c ao objetivoem cadaitera c ao. Noentanto,garantiracondi c aode minimizadorcostumaser difcil. Quando condi c oes sucientes de otimalidade s ao satisfeitas pode-mosassegurarqueopontoemquest aoeminimizadorlocal. Aglobalidade,noentanto,emuitomaiscomplicada.Aolongodestecaptulosupomosquefest abemdenidaetemderivadas1112 CHAPTER2. CONDICOESDEOTIMALIDADEprimeirascontnuasemumabertoquecontemoconjunto. Denotamosf(x) = f

(x)T= (fx1(x), . . . ,fxn(x))T.Indicamos, comoeusual, f Ck()paraexpressarquef temderivadascontnuas ate aordemknoabertoquecontem. Aexpress aofCkindica que ftem derivadas contnuas atea ordem knum aberto que contemodomnion aoespecicadodef.Anota c aoA 0paraA IRnnindicaqueAesemidenidapositiva. Damesmaforma,A > 0signicaqueA edenidapositiva.2.1 Restri c oesemformatogeralConsideremosoproblemaMinimizar f(x)x .(2.1.1)Ascurvasnoconjuntodesempenhamumpapelimportantenaderiva c aodecondi c oespr aticasdeotimalidade. Aprimeiracondi c aodeotimalidadequeobteremosest abaseadaapenasnocomportamentodafun c aoobjetivoemcimadecurvasfactveisquepassampelopontoconsiderado. Apesardesuageneralidade,estacondi c aodeotimalidadeeusadanodesenvolvimentodealgoritmos modernos deminimiza c ao(pontos limite desses algoritmossatisfazemacondi c ao). Ver[142],[144].Deni c ao2.1.1Dadox , chamamoscurvaempartindodexauma fun c aocontnua: [0, ] talque > 0 e (0) = x.Deni c ao2.1.2Dadox , chamamoscurvaemdeclasseCkpartindodexaumafun c ao: [0, ] talque > 0,(0) = xe Ck[0, ].Teorema2.1.3- Condi c aonecess ariadeprimeiraordembaseadaemcurvasSejaxminimizador local de(2.1.1), e umacurvaemdeclasseC1partindodex. Ent ao f(x)T

(0) 0.2.1. RESTRICOESEMFORMATOGERAL 13Prova: Denimos : [0, ] IRpor (t) =f((t)). Comoxemini-mizadorlocal, existe 1 (0, )tal que(t) (0)paratodot (0, 1).Assim, ((t) (0))/t 0paratodot (0, 1)e, ent ao,

(0) 0. Mas,pelaregradacadeia,

(t) = f

((t))

(t),portanto f((0))T

(0) = f(x)T

(0) 0. QEDCorol ario2.1.4Sejaxumpontointeriordetal quexeminimizadorlocal de(2.1.1).Ent ao f(x) = 0.Exerccio2.1: DemonstraroCorol ario2.1.4.Exerccio 2.2: Provar que noCorol ario 2.1.4e suciente que f tenhaderivadasparaobteratese.Corol ario2.1.5SejaxminimizadordefemIRn. Ent ao f(x) = 0.Teorema2.1.6- Condi c aonecess ariadesegundaordembaseadaemcurvas.Sejaxminimizadorlocal de(2.1.1),f C2().(a)ParatodacurvaemdeclasseC2partindodex, f(x)T

(0)=

(0) 0,onde(t) = f((t)).(b)Se

(0) = 0,ent ao

(0) 0.Prova: Aprovadoitem(a)eadadadoTeorema2.1.3. Em(b), quando

(0)=0temos(t)=(0) +12

(0)t2+ o(t2), ondelimt0o(t2)/t2=0.Portanto,limt0(t) (0)t2=12

(0).Porserxminimizadorlocal,temosque(t) (0)paratsucientementepequeno. Portanto,

(0) 0. QEDExerccio 2.3: Generalizar o Teorema 2.1.6, denindo o teorema da condi c aonecess ariadeotimalidadedeordemkbaseadaemcurvas.Deni c ao2.1.714 CHAPTER2. CONDICOESDEOTIMALIDADEDadox , dizemosqueeuma curvaemdeclasseCkpassandoporxse: [, ] , > 0,(0) = xe Ck.Lema2.1.8Sex eumminimizador local de(2.1.1) eeumacurvaemdeclasseC1passandoporx,ent ao f(x)T

(0) = 0.Prova: Denimos1:[0, ] por1(t)=(t) e 2:[0, ] por2(t) = (t). PeloTeorema2.1.3,f(x)T

1(0) 0 ef(x)T

2(0) 0.Mas

1(0) =

(0) e

2(0) =

(0),logo f(x)T

(0) = 0. QEDCorol ario2.1.9- Condi c aonecess ariadesegundaordemparaxnointeriorde(ou = IRn).Sejaxminimizador local de (2.1.1), xpontointerior de . Sef temderivadassegundascontnuasnumavizinhan cadexent ao f(x)=0e2f(x) 0.Prova: Seja d IRn, d ,= 0, arbitr ario. Seja : [, ] a curva denidapor(t) = x +td. PeloCorol ario2.1.4eoLema2.1.8,f(x)Td f(x)T

(0) = 0.Comodearbitr ario,segueque f(x) = 0. Denindo : [, ] IRpor(t) = f[(t)],temos

(0) = f(x)T

(0) = 0epeloTeorema2.1.6,0

(0) =

(0)T2f(x)

(0) = dT2f(x)d.Novamente,aarbitrariedadededimplicaem 2f(x) 0. QEDTeorema2.1.10- Condi c aosucientedesegundaordemparaxnointeriorde(ou =IRn)Sejaf C2()expontointeriordetalque f(x) = 0e 2f(x) > 0. Ent aoxeminimizadorlocal estritodoproblema(2.1.1).Prova: Escrevendoaexpans aodeTaylor paraf emtornodex, comof(x) = 0,temos:f(x) = f(x) +12(x x)T2f(x)(x x) +o(|x x|2) ,2.2. RESTRICOESDEIGUALDADE 15ondelimxx o(|x x|2)/|x x|2= 0e ||eumanormaqualqueremIRn. Como 2f(x) > 0,existea > 0talque,paratodox ,= x,(x x)T2f(x)(x x) a|x x|2> 0 .Logo,f(x) f(x) +a2|x x|2+o(|x x|2). Portanto,parax ,= x,f(x) f(x)|x x|2a2+o(1),ondeo(1) o(xx2)xx2tendea0quandox x. Emconseq uencia, paraxsucientementepr oximoediferentedex,f(x) f(x)|x x|2a4> 0.Logo,f(x) > f(x)paratodoxnumavizinhan cadex, x ,= x. QEDExerccio2.4: Encontrarexemplosonde:(a) xeminimizadorlocaldefem,mas f(x) ,= 0.(b) xeminimizadorlocal defem, f(x)=0mas 2f(x)n aoesemidenidapositiva.(c) eaberto, f(x) = 0masxn ao eminimizadorlocal.(d) eaberto, f(x) =0, 2f(x) 0mas xn aoeminimizadorlocal.(e) e aberto, x e minimizador local estrito mas 2f(x) n ao e denidapositiva.2.2 Restri c oesdeigualdadeConsideremos oproblemademinimiza c aocomrestri c oes gerais deigual-dade:Minimizar f(x)h(x) = 0(2.2.1)ondeh: IRnIRm. Comosempre, chamamosaoconjuntofactvel doproblema. Nestecaso = x IRn[ h(x) = 0.16 CHAPTER2. CONDICOESDEOTIMALIDADEDeni c ao2.2.1Sex ,chamamosconjuntotangenteaporx(deno-tadoporM(x))aoconjuntodosvetorestangentesacurvasempassandoporx,ouseja:M(x) = v IRn[ v=

(0) para alguma curva passando por x .Utilizandoanota c aoh

(x) =____h1x1(x) . . .h1xn(x)...hmx1(x) . . .hmxn(x)____=___h

1(x)...h

m(x)___ =___h1(x)T...hm(x)T___,podemos relacionar M(x) com o n ucleo do Jacobiano de h(x), denotado por^(h

(x)),peloseguintelema:Lema2.2.2Paratodox ,M(x) ^(h

(x)).Prova: Sejav M(x) e : [, ] tal que

(0) =v, (0) =x.Denimos(t)=h((t)), paratodot [, ]. Portanto, (t)=0paratodot [, ]. Logo,

(t) (1(t), . . . , m(t))T=0paratodot (, ). Mas,pelaregradacadeia,

(t) = h

((t))

(t),portantoh

((t))

(t) = 0paratodot (, ). Logo,0 = h

(x)

(0) = h

(x)v,ouseja,v ^(h

(x)).QEDE naturalque nos indaguemossobre avalidadeda recprocado Lema2.2.2:^(h

(x)) M(x)? Emgeralestarela c aon aoeverdadeira,conformeilus-traoseguinteexemplo. Consideremosh(x1, x2)=x1x2, x=(0, 0)T.Ent aoM(x) = v IR2[ v1v2=0, mas h

(x) =(0, 0) e, claramente,^(h

(x)) = IR2.Deni c ao2.2.3Dizemosque x x IRn[ h(x) = 0 eum pontoregularse oposto deh

(x)eigual am(h1(x), . . . , hm(x)eumconjuntolinearmenteinde-pendente).Teorema2.2.42.2. RESTRICOESDEIGUALDADE 17Seja= x IRn[h(x)=0, h Ck, x umpontoregular. Ent ao,paratodov ^(h

(x)),existeumacurvadeclasseCkpassandoporxtalque

(0) = v. Portanto,M(x) = ^(h

(x)).Prova: Sejav ^(h

(x)). Ent aoh

(x)v=0. Queremosencontrarumacurva em passando por xtalque

(0) = v. Consideramos osistemadeequa c oesh(x +tv +h

(x)Tu) = 0 , (2.2.2)Parax evxos,este eum sistemadem equa c oescomm+1 vari aveis(u IRmet IR). Colocandou=0, t=0temosumasolu c aoparticulardestesistema. OJacobianode(2.2.2)emrela c aoauemt=0eh

(x)h

(x)TIRmmee n aosingular pelaregularidade dex. Logo, peloTeoremadaFun c aoImplcita, existe Ck, denidaem[, ], >0, tal que(2.2.2)severicaseesomenteseu = (t). Portantoh(x +tv +h

(x)T (t)) = 0paratodot [, ] . (2.2.3)Derivando (2.2.3) em rela c ao a t, para t = 0 temos h

(x)(v+h

(x)T

(0)) = 0.Comoh

(x)v=0, seguequeh

(x)h

(x)T

(0)=0. Mash

(x)h

(x)Ten aosingular,logo

(0) = 0.Emconseq uencia,denindo: [, ] por(t) = x +tv +h

(x)T (t),temosque

(0) = v +h

(x)T

(0) = v.Assim,eacurvaprocurada. Comovearbitr ario,temosque ^(h

(x)) M(x). Portanto,M(x) = ^(h

(x)). QEDComoconseq uenciadoTeorema2.2.4temososeguinteresultado:Teorema2.2.5Sexeminimizadorlocal regularde(2.2.1),ent ao f(x) ^(h

(x)).Prova: Sejav ^(h

(x)). Comoxeregular, existeempassandoporxtalque

(0) = v. PeloLema2.1.8, f(x)Tv= 0. QEDTeorema2.2.6-MultiplicadoresdeLagrange18 CHAPTER2. CONDICOESDEOTIMALIDADESe x e minimizador local regular de (2.2.1), ent ao existem unicos 1, . . . , mreais tais que f(x) +

mi=1ihi(x) = 0. (1, . . . , ms ao chamados mul-tiplicadoresdeLagrangedoproblema.)Prova: Pelo Teorema 2.2.5, f(x) ^(h

(x)). Logo, f(x) (h

(x)T),istoe,existe IRmtalque f(x) +h

(x)T = 0. Comoxeregular,oJacobianoh

(x)tempostocompletoeent aoessevetordemultiplicadores IRme unico. QEDConsiderandoosresultadosobtidosparaoproblema(2.2.1), oscandidatosaminimizadorlocal paraesteproblemaser aoospontosregularesque, aomesmotempo,sejamsolu c oesdosisteman aolinearcomn +mequa c oesen +minc ognitasf(x) +h

(x)T = 0h(x) = 0(2.2.4)Essespontos ser aochamados estacion arios oucrticos. Naturalmente, ospontosn aoregularesdetambemseriamcandidatosaminimizadorlocal.Exerccio2.5: Provar o Teorema 2.2.6 usando o seguinte argumento: comoxeregular, valeoTeoremadaFun c aoImplcita. Logoh(x)=0e, local-mente, xB=(xN). Ent aooproblema(2.2.1)sereduzlocalmenteaumproblema sem restri c oes nas vari aveis xN. A condi c ao necess aria de primeiraordemparaminimiza c aoirrestritaimplicaatesedoteorema.Exerccio2.6: Provar que se h(x) = Axb, a regularidade n ao e necess ariaparaaexistenciadosmultiplicadoresdeLagrangenoTeorema2.2.6.Exerccio2.7: Provarquesexeminimizadorlocalde(2.2.1)ent aoexis-tem0, 1, . . . , mreaistaisque0f(x) +

mi=1ihi(x) = 0.Deni c ao2.2.7Chamamos Lagrangiano do problema (2.2.1) ` a fun c ao (x, ) =f(x)+h(x)T.Exerccio2.8: Relacionar an aosingularidadedoJacobianodosistema(2.2.4)comocomportamentode 2xx(x, )non ucleodeh

(x).Exerccio2.9: Darumexemploondexsejaminimizadorde(2.2.1)mas2.2. RESTRICOESDEIGUALDADE 19xsejamaximizadordefrestrita` avariedadetangenteam.Teorema2.2.8-Condi c oesnecess ariasdesegundaordemparare-stri c oesdeigualdade.Suponhamosquef, h C2, xeminimizadorlocal regularde(2.2.1)eeovetordemultiplicadores deLagrangedenidonoTeorema2.2.6. Ent aovT2xx(x, )v 0,paratodov ^(h

(x)).Prova: PeloTeorema2.2.6,f(x) +h

(x)T = 0 (2.2.5)Sejav^(h

(x)). Pelo Teorema 2.2.4, existe umacurva emdeclasse C2passandopor x((0) =x) etal quev =

(0). Tambem,

(0) ^(h

(x)). Denindo(t) =f((t)), peloLema2.1.8,

(0) =f(x)T

(0) = 0eent aopeloTeorema2.1.6,

(0) =

(0)T2f(x)

(0) +f(x)T

(0) 0 (2.2.6)Agora,denindoi(t) = ihi((t)), i= 1, . . . , m,temosque

i(t) = 0paratodot (, ),portanto

i(0) =

(0)Ti2hi(x)

(0) +ih

i(x)

(0) = 0 .Logom

i=1

i(0) =

(0)Tm

i=1i2hi(x)

(0) +Th

(x)

(0) = 0 . (2.2.7)Somando(2.2.7)e(2.2.6),por(2.2.5)segueque

(0)T(2f(x) +m

i=1i2hi(x))

(0) 0.Porservarbitr arioaprovaest acompleta. QEDTeorema2.2.9-Condi c oessucientesdesegundaordemparare-stri c oesdeigualdade.Sef, h C2, x satisfazascondi c oesnecess ariasdeprimeiraordempara (2.2.1), e o vetor de multiplicadoresde Lagrange e yT2xx(x, )y> 0paratodoy ^(h

(x)), y ,=0, ent aoxeminimizadorlocal estritopara20 CHAPTER2. CONDICOESDEOTIMALIDADE(2.2.1).Exerccio2.10: Usandoaredu c aoaproblemasirrestritosatravesdoTeo-remadaFun c aoImplcita,provarosTeoremas2.2.8e2.2.9.Exerccio2.11: ConsideraroproblemaperturbadoMRI()Minimizar f(x)h(x) = esejaxsolu c aoregular deMRI(0). Chamandox=x(0) eusandoascondi c oesdeotimalidadedeMRI()eoTeoremadaFun c aoImplcitaparadenirx(),provarquefi(x(0)) = i, i = 1, . . . , m.2.3 Restri c oesdedesigualdadeConsideremos agoraoproblemademinimiza c aocomrestri c oes gerais dedesigualdade:Minimizar f(x)c(x) 0(2.3.1)ondec : IRnIRp.Deni c ao2.3.1Paracadax = x IRn[ c(x) 0, chamamosderestri c oesativasemx` aquelasparaasquaisci(x) = 0. Analogamente, chamamosrestri c oesinativasem x` aquelasparaasquaisci(x)0, adesigualdadeeestritaparax ,= z. QED4.2. QUADRATICASEMBOLAS 57Os teoremas acima mostram que, se existe uma solu c ao z do problema (4.2.1)situadanafronteiradabola,eladevesatisfazer,comseumultiplicadorcor-respondente,asseguintesequa c oes:(G+I)z= b, |z| = . (4.2.9)Alemdisso, 0eG + I 0. Solu c oesde(4.2.1) nointeriordabolas opodemexistirseGesemidenidapositivae, nessecaso, z, comnormamenorque,devesersolu c aode(4.1.2).Se 1 . . . n s ao os autovalores de G, a condi c ao G+I 0 e equivalentea 1. Assim, as duas limita c oes sobre o multiplicador , para detectarsolu c oesnafronteira,seresumemem m aximo 0, 1. (4.2.10)Portanto,para encontrar as solu c oes de (4.2.1) na superfcie da bola de umamaneiraingenua,dividimosoproblemaemduasquest oes:(a)Existemsolu c oescom > 1?(b) 1esolu c aode()?Asegundaquest aopodesereliminadase1>0, ouseja, seGedenidapositiva.Examinemos a quest ao (a). Na regi ao > 1o sistema (G+I)z= b temcomo solu c ao unica z= (G+I)1b j a que, neste caso, G+Ie inversvel.Portanto,encontrar > 1satisfazendo()eequivalentearesolver|(G +I)1b| = . (4.2.11)ou() = 2, (4.2.12)onde() |(G + I)1b|2. Parecebastanterelevante, emconseq uencia,estudaraformadafun c aounivariada(). Consideremosadecomposi c aoespectral G = QQT, onde Q = (v1, . . . , vn), vi IRne = diag (1, . . . , n).Pela invari ancia da norma euclidiana sob transforma c oes ortogonais, a fun c ao()podeserescritacomo:() = dT( +I)2d =n

i=1d2i(i +)2, (4.2.13)onded = QTb. Aexpress ao(4.2.13)revelaquelim() = 0. (4.2.14)58 CHAPTER4. MINIMIZACAODEQUADRATICASAomesmotempo,lim1+() = (4.2.15)se,esomentese,di= [QTb]i ,= 0paraalgumitalque1= i. Nestecaso,()eestritamentedecrescenteeconvexa. Istosignicaque,quandobn aoeperpendicularaosubespa codeautovetoresassociadoaomenorautovalordeG, aequa c ao() temuma unicasolu c aopara> 1, qualquer queseja. Seessasolu c aoemaiorouiguala0, (G + I)1bser ao unicominimizadorglobalde(4.2.1).Quandob eperpendicularaosubespa codeautovetoresassociadoaomenorautovalordeGaexpress aode()e() =n

i=d2i(i +)2,ondeeo ndicedomenorautovalordiferentede1. Portanto,nessecaso,(1) =n

i=d2i(i1)2,e uma unica solu c ao de () maior que 1 existir a se, e somente se, (1) >. Quandoissoacontece, afun c aotambeme convexae estritamentedecrescente.Aan aliseacimaesgotaoexamedaexistenciadesolu c oesde()maioresque1. Suponhamosagoraqueexistez nafronteiradabolatal que(G 1I)z= b. AmatrizG 1Iesingular, portantoosistemaconsideradotem innitas solu c oes,e podemos considerar a solu c ao de norma mnima x.Usandoadecomposi c aoespectral,temos( 1I)QTx= QTb = d,ouseja(i1)[QTx]i= diparai = , . . . , n. (4.2.16)Osgrausdeliberdadedaequa c ao(4.2.16)s aousados,nasolu c aodenormamnima,escolhendo[QTx]i= 0, parai = 1, . . . , 1. (4.2.17)De(4.2.16)e(4.2.17)ef acildeduzirquelim1(G+I)1b = x4.2. QUADRATICASEMBOLAS 59e,portanto,lim1() = |x|2 2.Portanto, nestecaso, n aopodehavernenhumasolu c aode()commaiorque 1.Resumindo, aexistenciadeumminimizadorglobal nafronteiracommul-tiplicador maior que 1eincompatvel comaexistenciadeoutromin-imizador global como multiplicador igual a 1. Pelo exposto, vemosque, para que 1seja o multiplicador otimo, b deve ser ortogonal aosubespa codeautovetores associadoa1. Paraencontrar, nessecaso, umminimizadorglobalpode-seproceder encontrandoumasolu c aoqualquerde(G 1I)x= b, umautovetor vassociadoa 1e, nalmente, umele-mentodafronteiradabolacomaformax +tv.O expostoacimamostraque,possuindo adecomposi c aoespectralde G,re-solver o problema (4.2.1) carece de segredos. Como em geral a decomposi c aoespectral e computacionalmente cara, procura-se desenvolver algoritmos quea evitem. Via de regra, esses algoritmosresolvem a equa c ao() calculando medianteumafatora c aodeCholeskydeG+Iparacadatentativa. Ver[148]. Maisprecisamente,resolve-seaequa c ao1|(G+I)1b|=1queemais favor avel ` aaplica c aodometododeNewtonparaachar zerosdefun c oesque(). Ver[171], [115]. Agora, ocasoemqueomultiplicador otimoe 1, ouest apr oximodessevalor crticoecomplicadonumerica-mente, motivo pelo qual e conhecido como hard case na literatura. Atual-mentetrabalha-seintensamenteemmetodospararesolver(4.2.1)queusemmetodos iterativos lineares, emvezdefatora c oes dematrizes. Ver [188],[180],[201].Exerccio4.9: Estabelecereprovarrigorosamenteaspropriedadesdeesuasderivadasprimeiraesegunda. Provarqueon umerototal depontosestacion ariosde(4.2.1)nafronteiradabola emenorouiguala2 q,ondeqeon umerodeautovaloresdistintosdeG.Exerccio4.10: Estudaraspropriedadesdafun c ao1/1/2usadaparaen-contrarefetivamenteomultiplicadorassociadoaumasolu c aode(4.2.1).60 CHAPTER4. MINIMIZACAODEQUADRATICAS4.3 QuadraticasemcaixasEmmuitosproblemaspr aticosemquesedesejaajustarummodelolinearaumconjuntodedadosempricos, ospar ametrosdesconhecidostemsen-tidofsicoapenasemumadeterminadaregi aodoespa co. Nessescasos,emvezdeumproblemapurodequadradosmnimosteremosumproblemadequadradosmnimoscomrestri c oes. Asitua c aomaiscomum equandocadapar ametron aopodeserinferioradeterminadacota, nemsuperioraoutra.Nessecaso,oconjuntoderestri c oestomaaformali xi uiparatodoi = 1, . . . , n,ou,maisbrevemente,l x u.Oconjunto IRnformadopelospontosquesatisfazemessasrestri c oesse diz uma caixa de IRn, denomina c ao mais confort avel que a alterna-tiva hiperparaleleppedo.Econveniente admitir os valoresparalie+paraui, j aque, ` as vezes, apenas algumas vari aveis est aonatu-ralmentelimitadas e, outras, alimita c aoesomenteinferior, ousuperior.Emproblemasfsicosemuitocomumqueasinc ognitas, representandode-terminados coecientes, devamser positivas, emcujocasoeoortantex IRn[ xi 0, i = 1, . . . , n.Entretanto, comonocasodaminimiza c aoembolas, oproblemademini-miza c ao de quadr aticas em caixas n ao tem interesse apenas por sua aplica c aodireta. Comoveremosmaisadiante,estetambem eumsubproblema muitoutilizado, de maneira iterativa, quando o objetivo ultimo e resolver um prob-lema mais complicado, por exemplo, a minimiza c ao de uma fun c ao geral (n aoquadr atica) numa caixa. Nesses casos, a matriz G ser a a Hessiana da fun c aoobjetivonumpontodadoe, comonadasesabeapriori sobreosautoval-ores dessa matriz, e importante considerar n ao apenas o caso convexo,comotambemocasoemqueamatrizn ao esemidenidapositiva.Veremos que, contrariamente` a minimiza c aoem bolas, em que podamos re-conhecer perfeitamente um minimizador global mesmo no caso n ao convexo,os algoritmospr aticosque apresentaremosdever aose contentarcompontosestacion arios. Garantirum minimizadorglobalnestesproblemas epossvel,mas apenas atraves de metodos muito caros computacionalmente. Ver [194].Nossoproblema e,pois,Minimizar q(x)sujeita a x ,(4.3.1)4.3. QUADRATICASEMCAIXAS 61onde= x IRn[ l x u , l 0domaiorautovalordeG. Teremosassimque,paratodox, z IRn,q(z) q(x) q(x)T(z x) =12(z x)TG(z x) L2|z x|2. (4.3.2)Denimos uma face abertade como um conjunto FI , onde I e um sub-conjunto(talvezvazio)de 1, 2, . . . , 2nquen aocontemsimultaneamenteien +i,i 1, 2, . . . , n,talqueFI= x [xi= lisei I, xi= uisen+i I, li< xi< uinosoutroscasos .Porexemplo, se= x IR3[ 1 x1 5, 2 x2teremosF{1,2}=x IR3[x1=1, x2=2, F{4}= x IR3[x1=5, 2 t,segue-sequeq(xk + t gCI(xk)) q(xk) < 2| gCI(xk)| . (4.3.13)Combinando(4.3.11)e(4.3.13), temosq(xk) q(xk+1) >2| gCI(xk)| > 2 | gP(xk)| . (4.3.14)4.3. QUADRATICASEMCAIXAS 67Agora,sexk +t gCI(xk)est aem,ent aoesseponto exk+1eobtemosq(xk+1) q(xk) = | gCI(xk)|42 gCI(xk)TG gCI(xk). (4.3.15)Portanto,usando(4.3.2)e(4.3.15), temos:q(xk) q(xk+1) >12L| gCI(xk)|2>22L| gP(xk)|2. (4.3.16)Analisemosagoraasitua c aoemque gCI(xk)TG gCI(xk) 0. Nessecaso,(t) q(xk) +tq(xk)T gCI(xk) ,eq(xk+1) < (t) q(xk) | gCI(xk)|. Portanto,q(xk) q(xk+1) > | gCI(xk)| > | gP(xk)| . (4.3.17)Resumindo, existem tres casos possveis: xk+t gCI(xk) factvel, ou infactvel,ou gCI(xk)TG gCI(xk) 0. Em cada caso obtemos,respectivamente,(4.3.14),(4.3.16)e(4.3.17),oqueimplicaatese. QEDEmcontinua c ao, provamos a convergencia global do Algoritmo 4.3.1.Lembramosprimeiroascondi c oesnasquaisoalgoritmop ara, istoe, geraumaseq uencianita: quandoencontraumpontoestacion arioxkde(4.3.1)ou quando detecta que o problema e ilimitado inferiormente, e, portanto, semsolu c ao. Basicamente, provaremosque, seoalgoritmogeraumaseq uenciainnita, haver a, essencialmente, as mesmas duas possibilidades: encontraremosum gradiente projetado arbitrariamente pequeno, ou a seq uencia dos valoresfuncionaisemxktender aa .Teorema4.3.3Suponhamos que o Algoritmo 4.3.1 gera uma seq uencia innita xk. Ent ao,existemduaspossibilidades:liminfk| gP(xk)| = 0 (4.3.18)elimkq(xk) = . (4.3.19)Proof. Suponhamos que(4.3.18)n aosecumpre. Portanto,existe > 0talque| gP(xk)| >paratodo k . (4.3.20)68 CHAPTER4. MINIMIZACAODEQUADRATICASConsideramosdoiscasos:(a)Acondi c ao(4.3.9)esatisfeitaemumn umeronitodeitera c oes.(b) Existe um conjunto innito de ndices K1 ^tal que (4.3.9) e satisfeitaparatodok K1.Se(a)vale, ent aoexistek0tal quexk FIparaumI xo, eparatodok k0. Portanto, aseq uenciaegeradapeloalgoritmointernoparatodok k0. Pelaspropriedadesdoalgoritmointerno,temosque,se |xk| ,vale(4.3.19). Sepelocontr ario, xkadmiteumasubseq uencialimitadaeconvergente, xkkK2,devemosterlimkK2|gI(xk)| = 0.Agora, como(4.3.9)n aosesatisfazparanenhumk K2, necessariamente|gCI(xk)|e |gP(xk)|tambemtendema0parak K2, oquecontradiz(4.3.20). Portanto,atesedoteoremacaprovadanocaso(a).Suponhamosagoraquevale(b). Sejakjoj-esimondicedeK1, j ^.Usando(4.3.20), oLema4.3.2eofatodeque q(xk)emonotonicamentedecrescente,obtemosq(xkj) q(xk1) =kj1

l=k1(q(xl+1) q(xl))kj1

lK1, l=k1(q(xl+1) q(xl))kj1

lK1, l=k1min 2 | gP(xl)|,2L| gP(xl)|2< j min 2,2L

2 (4.3.21)Usando(4.3.21)concluimosque,nestecaso,limjq(xkj) = .Portanto,oteoremaest aprovado. QEDExaminemos algumas conseq uencias do resultado provado no Teorema 4.3.3.Se a seq uenciageradapelo algoritmo e limitada,o que, sem d uvida, aconte-cer a, por exemplo, quando os limitantes li e ui n ao assumem valores innitos,a possibilidade de que a sequencia q(xk) seja ilimitadainferiormente deveserexcluda. Portanto,nessecaso,temosumasubseq uencia xkkK1onde4.3. QUADRATICASEMCAIXAS 69osgradientesprojetadostendema0. Porcompacidade, essasubseq uenciatem, por sua vez,uma subseq uencia convergente. Consideremos agora qual-quersubseq uenciaconvergente xkkK2,comlimite,digamos,x FI. Seli 0tendendoa0,talque|xk+1x| rk|xkx| (5.4.2)para todo k = 0, 1, 2, . . .. Pelaequivalenciadas normas em IRnpodemos verque aconvergenciasuperlinear de uma seq uencia eindependente danorma.Aomesmotempo, sexk xsuperlinearmente, ent aodadoqualquerr (0, 1) e qualquer norma em IRn, a desigualdade (5.4.1) acabar a se vericandoparak0sucientementegrande,ouseja,teremosconvergencialinear.Sexk xeexistemk0 ^,c > 0ep > 0taisque,paratodok k0,|xk+1x| c|xkx|p+1, (5.4.3)diremosque xkconvergeparaxcomordempelomenosp + 1. Sep = 1,falaremosdeconvergenciaquadr atica. Pelaequivalenciadenormas,(5.4.3)tambemeindependentedanormausada. Alemdisso, ef acil verqueestetipo de convergenciaimplicaa convergenciasuperlinear. Quanto maiorsejapmais rapidamentexktender aax. Comefeito, se, paraumaitera c ao84 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESk, oerro |xk x|e daordemde 0.1, ent ao, naitera c aoseguinte ser adaordemdec0.1p+1,e, depoisdemitera c oesser ac0.1m(p+1). Portanto, on umero de dgitos corretos das componentes da solu c ao crescer a rapidamentesep 1. Por isso, costuma-sedizer que, naconvergenciaquadr atica, on umerodedecimaiscorretoseduplicadoemcadaitera c ao. Assim, otipodeconvergenciamaisdesej avel eadeordemp + 1comomaior valor deppossvel. Nasseq uenciasproduzidaspormetodosnumericosgeradasemumcomputador, aconvergenciaquadr atica(oumelhor quequadr atica)eobserv avel no r apido crescimento dos dgitos repetidos de uma itera c ao paraoutra,ou,equivalentemente,on umerodedecimaisiguaisazerodoerro. Aconvergenciasuperlinearemaisdifcil deobservarempiricamente. Viaderegra, emseq uencias teoricamentesuperlineares(masn aoquadr aticas), oerroaparecediminuindodemaneiraconsistente, masn aoeusualobservarumaquedamon otonaparazerodoquocienteentredoiserrosconsecutivos.J aaaprecia c aodaconvergencialinear dependeintegralmente dataxar.Alguns metodos de tipo ponto xo para resolver sistemas lineares produzemseq uenciascomumataxalineardeconvergenciat aopr oximade1,quesuautilidadeepraticamente nula. Por outrolado, seataxafor menor que,digamos, 0.5, aconvergenciapodeserindistinguvel, nosexperimentos, docomportamentosuperlinear.Nestase c aoassumiremosasseguinteship otesesgerais: F: IRn, com IRnabertoeconvexoeF C1(). Portanto,paratodox ,limh0|F(x +h) F(x) J(x)h||h|= 0. (5.4.4)Suporemostambemquex etalqueF(x) = 0eJ(x) en ao-singular.Paraaprovadaconvergenciaquadr aticadometododeNewtonassumimosqueexistemL > 0ep > 0taisque,emumavizinhan cadex,|J(x) J(x)| L|x x|p(5.4.5)onde ||eumanormaqualqueremIRnbemcomoanormadematrizesconsistenteassociadaemIRnn.Exerccio5.4: Usando(5.4.5), mostrarqueparatodox, z ,|F(z) F(x) J(x)(z x)| L|x z| max|x x|p, |z x|p .Exerccio5.5: Usando(5.4.5), mostrarqueparatodox ,|F(x) J(x)(x x)| L1 +p|x x|p+1.5.4. CONVERGENCIALOCAL 855.4.1 Oteoremadasduasvizinhan casOobjetivodestasubse c aoemostrarque,sex0est apr oximodexetodasasmatrizesBkest aopertodeJ(x), aseq uenciageradaporxk+1=xk B1kF(xk)convergeparaxcomtaxalinear. Esseresultadoser aaplic avelaosmetodosquase-Newtonemgeral,e,especicamente,aopr opriometododeNewton. Usaremos demaneiraessencial quetodasasmatrizes queseencontramnumacertavizinhan cadamatriz n ao-singular J(x) s aon ao-singulares. NoLema5.4.1vamosprecisaro tamanhodessavizinhan ca. Umresultado previo, de algebra, e o chamado Lema de Banach: dada uma normaarbitr aria ||emIRn,quedenotatambemanorma matricialsubordinada,se |A| < 1,ent aoI +A en ao-singulare11 +|A| |(I +A)1| 11 |A|.Exerccio5.6: DemonstraroLemadeBanach.Lema5.4.1SeB IRnnetal que |B J(x)| 12|J(x)1|ent aoB1existeesatisfaz |B1| 2|J(x)1|.Prova: Seja A = BJ(x)1I= [BJ(x)]J(x)1. Pelaconsistenciadanormasegueque|A| = |[B J(x)]J(x)1| |[B J(x)]| |J(x)1| 12< 1 ,ouseja, estamos nas condi c oes doLemadeBanache, ent aoBJ(x)1en ao-singular. Logo, existeB1evale[BJ(x)1]1=J(x)B1. Alemdisso,|J(x)B1| 11 |BJ(x)1I| 2 .Como |B1|= |J(x)1J(x)B1| |J(x)1| |J(x)B1|, segueque|B1| 2|J(x)1|. QED86 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESLema5.4.2-dasduasvizinhan cas.Paracadax eB IRnn,denimosafun c ao(x, B) = x B1F(x).Seja r(0, 1). Existem1=1(r), 1=1(r) >0 tais que se |x x| 1, |B J(x)| 1, afun c ao(x, B) est abemdenidaesatis-faz |(x, B) x| r|x x|.Prova: Seja

1=12|J(x)1|. PeloLema5.4.1,se |B J(x)|

1ent aoB1existeesatisfaz|B1| 2|J(x)1| . (5.4.6)Assim,(x, B)est abemdenidasex e1

1.Agora|(x, B) x| A1 +A2(5.4.7)ondeA1= |x xB1J(x)(x x)| e A2= |B1[F(x) J(x)(x x)]| .Por(5.4.6),temosqueA1= |x xB1J(x)(x x) B1B(x x) +B1B(x x)|= |x xB1B(x x) +B1[B J(x)](x x)|= |B1[B J(x)](x x)| |B1| |B J(x)| |x x| 2|J(x)1| 1 |x x| . (5.4.8)PeladiferenciabilidadedeFepor(5.4.6),temos:A2 |B1| |F(x) J(x)(x x)| 2|J(x)1| (x) (5.4.9)onde limxx(x)|x x|= 0 .Seja1talque2_1 + supxx1_(x)|x x|__r|J(x)1|. (5.4.10)5.4. CONVERGENCIALOCAL 87Ent ao,para |B J(x)| 1e |x x| 1,por(5.4.7)(5.4.10)temos|(x, B) x| 2|J(x)1| 1 |x x| + 2|J(x)1| (x)= 2|J(x)1|_1 +(x)|x x|_|x x| r|x x| .QEDTeorema5.4.3-dasduasvizinhan cas.Sejar (0, 1). Existem=(r)e=(r)taisque, se |x0 x| e|Bk J(x)| paratodok, ent aoaseq uenciageradaporxk+1=xk B1kF(xk) est abem denida,convergeaxe |xk+1x| r|xkx|paratodok.Prova: Considerandoafun c ao(x, B) =x B1F(x), temos xk+1=(xk, Bk), k=0, 1, 2, . . . . Aprovasegueporumargumentodeindu c aoepeloLema5.4.2. QEDUma conseq uencia imediata do Teorema das duas vizinhan cas e a con-vergencialocallineardometododeNewtonestacion ario. Comefeito,dador (0, 1),pelacontinuidadedasderivadasdeF,existe2talque |J(x0) J(x)| (r) sempre que |x0 x| 2. Tomemos, ent ao comoomnimoentre(r)e2, onde(r)e(r)s aoosdenidosnoTeoremadasduasvizinhan cas. Ent ao,se |x0x| teremos |J(x0) J(x)| (r)e, portanto, |Bk J(x)| (r)paratodok. Logo, estamosdentrodaship otesesdoteorema,e,emconseq uencia,aseq uenciaconvergecomataxalinear r.Eimportanteobservar queestapequenaprovafoi iniciadacomum r (0, 1)arbitr ario. Portanto,ataxadeconvergencialineardometododeNewtonestacion ariopoderiaserarbitrariamentepequena, tomandox0sucientementepr oximodex.5.4.2 ConvergenciaquadraticadeNewtonAaplica c aodoTeoremadasduasvizinhan casaometododeNewtonebas-tantenatural. Noentanto, a ultimaobserva c aodasubse c aoanterior, per-mite vislumbrar que, para estemetodo,resultados mais fortes s ao possveis.Aqui vamos usar a condi c ao (5.4.5) para provar que a ordem de convergenciadeNewtone,pelomenosp + 1.Eusualque(5.4.5)sejav alidacomp = 1,por issochamaremos essapropriedadedeconvergenciaquadr atica. As88 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESsitua c oesemque(5.4.5)valeparaalgump (0, 1)masn aoparap = 1s aoumtantopatol ogicas, en aotemmaiorimport anciapr atica. Noentanto,einteressante reetir sobre o caso em que (5.4.5) e satisfeita para algum p > 1.Porexemplo,sep = 2,essacondi c aosignicaqueasderivadassegundasdeFexistemes aonulasemx. Nessecaso, aconvergenciadeNewtonedeordem3. Assim, quantomaiorsejaaordemdasderivadasqueseanulamnasolu c ao, acimadassegundas,Newtonconvergir amaisrapidamente. Nocaso extremo, todas as derivadas de Fs ao nulas em xo que, quase sempre,indica que Fe uma fun c ao linear em uma vizinhan ca da solu c ao. Nesse caso,aordemdeconvergenciap + 1paratodopsignicaquex1ser aigualax,ou seja, o metodose comportar a como um metodo direto,que e exatamenteoqueseesperadelequandoaplicadoaumafun c aolinear.Teorema5.4.4-Convergenciaquadr aticadeNewton.SuponhamosqueF, L, psatisfazem(5.4.5). Ent aoexistem, > 0taisqueparatodox0vericando |x0x| ,aseq uenciageradaporxk+1= xkJ(xk)1F(xk), k= 0, 1, . . .est abemdenida,convergeaxesatisfaz|xk+1x| |xkx|p+1.Prova: Escolhemos umrarbitr arioentre0e1, digamos, r =0.5. Seja1= 1(r),denidopeloLemadasduasvizinhan cas. PelacontinuidadedeJ(x), existe 2> 0 tal que, sempre que |xx| 2, temos |J(x)J(x)| 1(r). Tomamos =mnimo 1, 2,logo |J(x0) J(x)| 1(r). Ent ao,peloLemadasduasvizinhan cas,|x1x| r|x0x| < 1.Portanto, |J(x1) J(x)| 1(r)eoraciocniopodeserrepetido,induti-vamente, paraprovarque xkconvergeparaxlinearmentecomtaxar.Agora,por(5.4.6),temosque,paratodok,|xk+1x| = |xkxJ(xk)1F(xk)|= |J(xk)1(F(xk) J(xk)(xxk))| 2|J(x)1| |F(xk) J(xk)(xkx)|.5.4. CONVERGENCIALOCAL 89Mas,por(5.4.5)epeloresultadodoexerccio5.5,|F(xk) J(xk)(xkx)| [F(xk) J(x)(xkx)[ +L|xkx|p+1 2L|xkx|p+1.Portanto,|xk+1x| 4|J(x)1|L|xkx|p+1,oquecompletaaprova. QEDSutilezasmaioresqueasdoTeorema5.4.4s aopossveis. Defato, oleitorpoder avericar que, mesmosemsuporacondi c ao(5.4.5), masusandoadiferenciabilidadedeF,aconvergenciadeNewtonesuperlinear.5.4.3 Convergenciadosmetodosquase-NewtonOTeoremadasduasvizinhan caseumelementoessencialnateoriadecon-vergenciadosmetodosquase-Newton. Comefeito, elenosdizqueemummetododessetipo, seopontoinicial est asucientementepertodasolu c aoetodasasmatrizesBkest aopr oximasdeJ(x)aconvergenciaocorrecomtaxalinear. Amaneiramaisf acil desatisfazeraship otesesdesseteoremaeescolheruma unicavezB0pr oximadeumaJacobianaetomartodasasoutrasBkiguaisaB0.EoqueometododeNewtonestacion ariofaz. Amaioriadosmetodosquase-Newtontentaumaop c aomelhor. Porexemplo,osmetodossecantesdenemBk+1=Bk+ Bkparatodok, onde, quasesempre,Bktempostopequeno. Portanto, mesmoqueB0estejapertodeJ(x), poderamosteroazardequealgumadasBksposteriorescassemforadavizinhan caquegaranteaconvergencialinear. Emoutraspalavras,Bk+1 pode sofrer uma deteriora c ao em rela c ao a Bk. Para garantir que, ape-sardessaspossveisdeteriora c oes, todasasBkestejamnaboavizinhan cade que falao Teorema5.4.3,s aoprovados,para osdistintosmetodosquase-Newton,teoremas de deteriora c aolimitada. Como seu nome indica,essesteoremasestabelecemque,emboraadist anciaentreBk+1eJ(x) possasermaiorque |Bk J(x)|, ograudedegenera c aon aopodesert aograndeaopontodecomprometeraconvergencia. Existemdiferentesteoremasdedeteriora c aolimitadaparaosdistintos metodos quase-Newton. Enfoquesunicadoss aodiscutidosem[55],[134]e[135]. Umapropriedadededeteri-ora c aolimitadatpicae:|Bk+1J(x)| |BkJ(x)| +c|xkx| (5.4.11)90 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESparaalgumc > 0. Adesigualdade(5.4.11)estabelecequeadeteriora c aodeBk+1emrela c aoaBkedeordemn aomaiorqueoerronaitera c aok. Ometodo de Broyden, do qual falamos na Se c ao 5.3, satisfaz uma propriedadedessetipo. Paramostrar comoelacontribui paran aocorromper acon-vergenciadeummetodoquase-Newton,vamosprovaroseguinteteorema.Teorema5.4.5Consideramosometodoquase-Newtondenidoporxk+1= xkB1kF(xk),ondeasmatrizesBksatisfazem(5.4.11). Sejar (0, 1). Ent ao, existem, > 0taisque,se |x0x| e |B0J(x)| ,aseq uenciaest abemdenida,convergeaxesatisfaz |xk+1x| r|xkx|paratodok.Prova: Sejam1=(r) e1=(r) os denidos noTeoremadas duasvizinhan cas. Sejam 1e 1taisque +c1 r 1. (5.4.12)Vamosprovarporindu c aoque|xkx| r|xk1x| rke|BkJ(x)| +c(1 +r +. . . +rk1).Oprimeiropassoe obvio. Vejamosopassoindutivo. Porhip oteseindutivatemos:|BkJ(x)| +c(1 +r +. . . +rk1) +c1 r 1.Como |xkx| rk ,oTeoremadasduasvizinhan casimplica|xk+1x| r|xkx| rk+1.Agora,por(5.4.11),|Bk+1J(x)| |BkJ(x)| +c|xkx| +c(1 +r +. . . +rk1) +crk,deondeatesesegue-setrivialmente. QED5.4. CONVERGENCIALOCAL 91Amaioria dos resultados de deteriora c ao limitada para metodos quase-Newton s ao obtidos usando propriedades geometricasdas f ormulas de atual-iza c aodas Bks. O exemplo mais claro e fornecido pelo metodo de Broyden.ComovimosnoExerccio5.3, nessealgoritmo, Bk+1eaproje c aosegundoanormadeFrobeniusdeBknavariedadeamdasmatrizesquesatisfazemaequa c aosecanteBsk= yk. SeJ(x)satiszesseessaequa c ao,adist anciaentreBk+1eJ(x)seriamenorouigual ` adist anciaentreBkeJ(x)eoprincpio(5.4.11)seriasatisfeitocomc=0. Infelizmente, emgeral, J(x)n ao euma das matrizesque satisfazema equa c aosecanteda itera c aok. Noentanto,sedenimosBk=_10J(xk +t(xk+1xk))dt, (5.4.13)podemosvericar, comoteoremafundamentaldoc alculo, queBksk=yk.Portanto,|Bk+1Bk| |BkBk|.Assim,|Bk+1J(x)| |Bk+1Bk| +|BkJ(x)| |BkBk| +|BkJ(x)| |BkJ(x)| + 2|BkJ(x)|. (5.4.14)Por (5.4.13), e usando (5.4.5), podemos vericar que |BkJ(x)| = O(|xkx|),portantoapropriedade(5.4.11)seguede(5.4.14).A interpreta c aode muitasf ormulas secantescomoproje c oespermite, geral-mente,provaroutrapropriedadeimportante:limk|Bk+1Bk| = 0. (5.4.15)Aideiaeusar, emcadaitera c ao, oTeoremadePit agoras. Apenasnestepar agrafo, ||ser aanormadeFrobenius,|Bk+1Bk|2= |BkBk|2|Bk+1Bk|2. (5.4.16)Portanto,|Bk+1Bk|2= |BkJ(x)|2|Bk+1J(x)|2+O(|xkx|). (5.4.17)92 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESAssim,supondo queoprincpio dedeteriora c aolimitadaj apermitiuprovaraconvergenciacomtaxalinear rdaseq uencia xk, esomandotodasasigualdades(5.4.17),

k=0|Bk+1Bk|2 |B0J(x)|2+ |x0x|1 r, (5.4.18)logo, a serie da esquerda em (5.4.18) converge e, portanto, (5.4.15) se verica.Porenquantonoslimitamosamostrarqueosmetodosquase-Newtoncomdeteriora c aolimitadan ao s aopiores que o mais simples dos metodosquase-Newton, ondeBkn aomudanuncae, portanto, adeteriora c aoenula. Seosmetodossecantesn aopudessemoferecermaisdoqueisso,nuncateriamsidopopulares. Defato, veremosagoraque, viaderegra, osmetodosse-cantesn aoapenas convergemcomataxalinearrde que falaoteoremadasduas vizinhan casmas, tambem,s aosuperlineares. A ferramenta fundamen-tal paraessaprovaeoseguinteteorema, cujoresultadoeconhecidocomocondi c aoDennis-More.Teorema5.4.6-Condi c aoDennis-More.Suponhamos que Fsatisfaz as hip oteses gerais, incluindo (5.4.5), a seq uenciageradaporxk+1= xkB1kF(xk)est abemdenida,convergeax,esatisfazlimk|[BkJ(x)]sk||sk|= 0 . (5.4.19)Ent aoaconvergenciaesuperlinear.Antes deprovar acondi c aoDennis-More vamos reetir sobreseusigni-cado. Umaprimeiraobserva c aoe que ometodo de Newtonclaramentesatisfaz(5.4.19)eque, aindamais,qualquer seq uenciade matrizes BktalqueBk J(x)tambemsatisfazessacondi c ao. Logo, poresteteorema, ometododeNewtonestacion ariocomrecome cos, doqual falamosnaSe c ao5.2,esuperlinear. Noentanto, acondi c aoDennis-MoreexigemenosqueaconvergenciadeBkparaJ(x). Comefeito, oquedevetenderparazeron aoeadiferen caBk J(x) mas aaplica c aodessadiferen canadire c aoincremental sk/|sk|. Ouseja, paraefeitosdeconvergenciasuperlinear, eindiferenteoqueBkfa cacomdire c oesdiferentesdosincrementoseapenasaa c aodasmatrizessobreosskstemimport ancia. Assim,ummetodocom5.4. CONVERGENCIALOCAL 93essascondi c oespodesersuperlinearmenteconvergente, mesmocomasma-trizes Bkconvergindo a algo diferente da Jacobiana na solu c ao. No Teorema5.4.6apresentamosacondi c aoDennis-Moreapenascomoumacondi c aosu-ciente. Naverdade, oresultadoebemmais elegante (ver [52], [54]): acondi c ao(5.4.19)etambemnecess ariaparaaconvergenciasuperlineardosmetodos quase-Newton e o fato de que x e uma raiz pode ser deduzido delaen aoapenasassumidocomohip otese.NaprovadoTeoremaDennis-More, faremos usodeumlemaque, breve-mente, mostra que |F(x)| pode ser utilizado como uma medida da dist anciaentrexexquandoJ(x) en ao-singular:Lema5.4.7Existem, c1, c2> 0taisque,sempreque |x x| ,c1|x x| |F(x)| c2|x x|.Prova: PeladiferenciabilidadedeF,limxx|F(x) J(x)(x x)||x x|= 0.Mas|x x| = |J(x)1J(x)(x x)| |J(x)1||J(x)(x x)|,portantolimxx|F(x) J(x)(x x)||J(x)1||J(x)(x x)|= 0.Logo,limxx|F(x) J(x)(x x)||J(x)(x x)|= 0.Mas [ |F(x)||J(x)(xx)| [ |F(x) J(x)(xx)|, portanto existe > 0talque,sempreque0 < |x x| ,12 |F(x)| |J(x)(x x)||J(x)(x x)|12,ouseja,12|J(x)(x x)| |F(x)| |J(x)(x x)| 12|J(x)(x x)|,94 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESouainda,12|J(x)(x x)| |F(x)| 32|J(x)(x x)|. (5.4.20)Mas, |J(x)(x x)| |J(x)||x x|e|x x| = |J(x)1J(x)(x x)| |J(x)1||J(x)(x x)|,portantoatese doLemasegue de (5.4.20), comc1=1/(2|J(x)|1) ec2=32|J(x)|. QEDProvadoTeoremaDennis-More: Por(5.4.19), temos:[BkJ(x)](xk+1xk) = F(xk) J(x)(xk+1xk)= F(xk+1) F(xk) J(x)(xk+1xk) F(xk+1).Agora,peloresultadodoExerccio5.4,|F(xk+1)F(xk)J(x)(xk+1xk)| L|xk+1xk| max|xkx|p, |xk+1x|p .Portanto,pelaconvergenciade xkepelacondi c ao(5.4.19),limk|F(xk+1)||xk+1xk|= 0 . (5.4.21)Agora, |xk+1 xk| |xk+1 x| + |xk x|e, peloLema5.4.7, paraksucientementegrande, temos |F(xk+1)| c1|xk+1 x|. Portanto, por(5.4.21),limk|xk+1x||xkx| +|xk+1x|= 0, (5.4.22)e a convergencia superlinear segue de (5.4.22) ap os breve manipula c ao algebrica.QEDQuando, para um metodo secante, pode ser provada uma propriedade de de-teriora c aolimitadaeaformadedenirBkpermitedemonstrartambemque |Bk+1 Bk| 0, aconvergenciasuperlinear dometodoresultadoTeoremaDennis-More. Formalizaremosissonoseguinteteorema.Teorema5.4.8Suponhamosaship otesesgeraisdestase c aoe,tambem,acondi c ao(5.4.5).Suponhamos que o metodo quase-Newton denido por xk+1= xkB1kF(xk)5.4. CONVERGENCIALOCAL 95temaspropriedades(5.4.11)e(5.4.15)equeaequa c aosecante()esatis-feitaparatodok. Ent ao, existem, >0tais que, se |x0 x| e|B0J(x)| ,aseq uencia xkest abemdenida,econvergesuperlin-earmenteparax.Prova: Aboadeni c aoeconvergenciaresultamdoTeorema5.4.3. Paraprovar a superlinearidade vamos mostrar que a condi c ao Dennis-More e sat-isfeita. PeloresultadodoExerccio5.4,temosque|ykJ(x)sk| L|sk|max |xkx|p, |xk+1x|p. (5.4.23)Mas, pela condi c ao secante, Bk+1sk=yk. Logo, por (5.4.23) e a con-vergenciade xk,limk|[Bk+1J(x)]sk||sk|= 0. (5.4.24)Claramente,acondi c aoDennis-More(5.4.19)pode ser deduzida de(5.4.24)e(5.4.15). Portanto,aconvergenciaesuperlinear. QED5.4.4 ConvergenciadosNewtoninexatosComo dissemos na Se c ao 5.3, chamamos metodos de Newton inexatos ` aquelesbaseadosnacondi c ao(5.3.7). Newtontruncados ser aoaquelesmetodosnosquais se utiliza um metodoiterativolinear para resolver,aproximadamente,osistema(5.3.2). Freq uentemente, asduasexpress oess aoutilizadascomosin onimos. Entretanto, podeserqueummetododeNewtontruncadouti-lize umcriterio de paradadiferente de (5.3.7), e tambeme possvel queoincrementoskquesatisfaz(5.3.7)n aosejaoriginadodeumprocessoit-erativolinear. Por isso, econvenientemanterasduasdenomina c oescomsignicadosdiferenciados.Noresultadoprincipaldestasubse c ao,provaremosque osmetodosdeNew-toninexatoss aolocalmenteconvergentescomtaxalinear,emdeterminadanorma, se o valor kse mantem xo ao longo de todo o processo. Se k 0,veremosqueaconvergenciaesuperlinear.Teorema5.4.9-Dembo-Eisenstat-Steihaug.(a)Sek max 0sucientementepequenotalque(1 +) [max(1 +) + 2] r .Agora,escolhemos > 0sucientementepequenotalque|J(y) J(x)| , (5.4.28)|J(y)1J(x)1| , (5.4.29)|F(y) F(x) J(x)(y x)| |y x| (5.4.30)se |y x| 2. AexistenciadeegarantidapeladiferenciabilidadedeF.Assumindoque |x0 x| , vamos provar (5.4.25) por indu c ao. Por(5.4.27), pelahip otesedeindu c aoe,novamentepor(5.4.27), temos|xkx| |xkx| rk|x0x| 2|x0x| 2 ,de tal forma que (5.4.28)(5.4.30)valem com y = xk. Alemdisso, a k-esimaetapadeummetododeNewtoninexatoedenidadetal formaqueexistesksatisfazendoJ(xk)sk= F(xk) +Rk, onde|Rk||F(xk)| k. (5.4.31)Ent ao,J(x)(xk+1x) = J(x)sk +J(x)(xkx)= J(x)J(xk)1[J(xk)sk +J(xk)(xkx)]= [I +J(x)(J(xk)1J(x)1)] [J(xk)sk +F(xk) +J(xk)(xkx) J(x)(xkx) F(xk) +F(x) +J(x)(xkx)]= [I +J(x)(J(xk)1J(x)1)] [Rk + [J(xk) J(x)](xkx) [F(xk) F(x) J(x)(xkx)]] .5.4. CONVERGENCIALOCAL 97Usandoadeni c aode,(5.4.28), (5.4.29),(5.4.30)e(5.4.31), temos|xk+1x| [1 +|J(x)| |J(xk)1J(x)1|] [|Rk| ++ |J(xk) J(x)| |xkx| +|F(xk) F(x) J(x)(xkx)|] (1 +)[k|F(xk)| +|xkx| +|xkx|] .ComoF(xk) = [J(x)(xkx)] + [F(xk) F(x) J(x)(xkx)] ,de(5.4.30)segueque:|F(xk)| |xkx| +|F(xk) F(x) J(x)(xkx)| |xkx| +|xkx| .Portanto,usando(5.4.27),|xk+1x| (1 +)[k[|xkx| +|xkx|] + 2|xkx|] (1 +)[max(1 +) + 2]|xkx|.Logo,(5.4.25)seguepelaescolhade.Paraprovarmos oitem(b), inicialmente, comonak-esimaetapade ummetododeNewtoninexatovale(5.4.31),(5.4.26)eequivalenteadizerque|Rk| = o(|F(xk)|). (5.4.32)Assim,assumindo(5.4.22),analogamente` aprovadoitem(a),segueque|xk+1x| [|J(x)1| +|J(xk)1J(x)1|] [|Rk|+ |J(xk) J(x)| |xkx| +|F(xk) F(x) J(x)(xkx)|]= [|J(x)1| +o(1)] [o(|F(xk)|) +o(1)|xkx| +o(|xkx|)] .Portanto,|xk+1x| = o(|F(xk)|) +o(1)|xkx| +o(|xkx|),ousejaxk xsuperlinearmente. QEDOutros criterios, alemde (5.3.7), temsido propostos para a parada dometodoiterativolinearnosalgoritmosdeNewtontruncados. Ypma[205]sugeriuoseguintecriteriobaseadonoerroverdadeirodosistemalinear, en aonoresduo:98 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARES|sk +J(xk)1F(xk)| k|J(xk)1F(xk)|. (5.4.33)Ocriterio(5.4.33)temalgumasvantagenste oricassobre(5.3.7)(ver[141]).Noentanto, emaisdifcil deimplementardevido` anecessidadedeestimarasolu c aoverdadeiradosistemalinear.Uma desvantagem conceitual dos criterios (5.3.7) e (5.4.33) e que, para obterconvergenciasuperlinear,aprecis aocomquesedeveresolverosistemalin-eardevesercadavezmaisexigente(k 0). Atravesdousodeprecondi-cionadoresquesatisfazemaequa c aosecante, estadiculdade econtornadaem[137]e[138].98 CHAPTER5. SISTEMASDEEQUACOESNAO-LINEARESChapter6Minimiza caoirrestritaebuscalinearAminimiza c ao de umafun c ao contnua de nvari aveis, semvnculos, eumdos problemas cl assicos daotimiza c aon aolinear. Existemin umerassitua c oesdarealidadeques aomodeladasdessamaneira. Quandoafun c aoederiv avel, acondi c aonecess ariadeprimeiraordemparaminimizadoresestabelecequeogradientedeveseanular. Emcasosmuitosimples, comoostratadosnostextosdec alculomultivariado, epossvel calcularmanual-mentetodosospontoscrticosoque,geralmente, levaaencontrarsolu c oesglobais, quando estas existem. Mas, quando o n umero de vari aveis ou a com-plexidadedafun c aoaumentam, asmanipula c oesisoladass aoinsucientesparaachar sequer pontos estacion arios.Enecess ario, ent ao, apelar parametodos numericos,quase sempre iterativos. Os algoritmos estudados nestecaptulofuncionamdaseguintemaneira: dadooiterandoxkdetermina-seumadire c aodkaolongodaqual, emprincpio,epossvel fazerdiminuirovalor da fun c ao objetivo. A seguir, calcula-seum comprimento de passo quepermitaumadiminui c aorazo avel. OmetododeNewton,osquase-Newton,eos chamados metodos deNewtontruncados podemser adaptados parafuncionarcomesteesquema.6.1 AlgoritmosgeraisVamosconsideraroproblemademinimiza c aosemrestri c oesMinimizar f(x)x IRn(6.1.1)99100 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEARcomahip oteseinicialdequef C1(IRn).Nestecaptuloconsideraremossempreque ||eanormaeuclidiana,emb-oramuitosresultadossejamindependentes dessaidentica c ao. Osmetodospararesolver(6.1.1)s aoiterativos. Aaproxima c aoxk+1est abemdenidaesatisfazf(xk+1) 0talque,paratodot (0, ],f(x +td) < f(x) .As dire c oesque formam um angulomaiorque 90graus comogradientes aodire c oesdedescida,comovemosnoseguintelema.Lema6.1.1Se f(x)Td < 0ent aodedire c aodedescida.Prova: Como f(x)Td=limt0f(x +td) f(x)teporhip otese f(x)Td 0sucientementepequeno,temosf(x + td) < f(x).QEDA dire c ao d = f(x) echamada dire c aodem aximadescidaapartirdex.Se consideramos todas as dire c oes com norma euclidiana unit aria no espa co,ef acil verqueaderivadadirecional maisnegativaserealizanessadire c ao.Asolu c aodoproblemaMinimizarf(x)sujeitaa |x x| ,ondefequalquerfun c aotalque f( x) = f( x),eumpontox()talque[x() x]/|x() x|tende` adire c aodem aximadescidaquandotendea0.Oprot otipodetodososmetodosqueveremosnestecaptuloeoseguintealgoritmo.Algoritmo6.1.2-Algoritmob asicoqueusadire c oesdedescida.Dadoxk IRntalque f(xk) ,= 0,escolherdkdire c aodedescidaetk> 0taisquef(xk +tkdk) < f(xk) .6.1. ALGORITMOSGERAIS 101Tomarxk+1= xk +tkdk.Exerccio6.1: MostrarqueoAlgoritmo6.1.2est abemdenido, nosen-tidodeque,sempreque f(xk) ,= 0,epossvelencontrartksatisfazendoacondi c aodedescida.Naturalmente, gostaramosqueaaplica c aodoAlgoritmo6.1.2noslevassesempre, depois de um n umero razo avel de itera c oes, a um minimizador globaldef. Isson aovai serpossvel. Defato, oalgoritmoassimdenidoeim-potenteate paranos conduzir apontos estacion arios nolimite. Existemexemplos emumavari avel que mostramque aseq uenciageradapor elepodeconvergiraumponton aoestacion ario.Exerccio6.2: Exibirumexemplodotipodosmencionadosnopar agrafoacima.Umadasraz oespelasquaisoAlgoritmo6.1.2fracassaemencontrarmini-mizadores ou, ate,pontos estacion arios, e que pedir apenas que f(xk+tkdk)sejamenorquef(xk) eumobjetivoexcessivamentemodesto,pois,nareal-idade,umdescensomaisenergicopodeserconseguidoaolongodedire c oesde descida. A chamada condi c ao de Armijo substitui o descenso simples eserveparainvalidaralgunsdoscontra-exemplosquepodemserconstrudosparadesqualicar acondi c aode descensosimples. Noseguinte teoremamostramosqueaobten c aododescensobaseadonacondi c aodeArmijoesemprepossvel.Teorema6.1.3-Condi c aodeArmijo.Sejamx,d IRntaisque f(x) ,=0, f(x)Td 0tal quef(x +td) f(x) +tf(x)Td (6.1.2)paratodot (0, ].Prova: Temos0 ,= f(x)Td = limt0f(x +td) f(x)teportantolimt0f(x +td) f(x)tf(x)Td= 1.102 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEARLogo,existe > 0talqueparatodot (0, ],f(x +td) f(x)tf(x)Td .Ouseja,paratodot (0, ], f(x +td) f(x) +tf(x)Td. QEDExerccio6.3: Encontrarumexemploemumavari avel ondeaseq uenciageradapeloAlgoritmo6.1.2tenhapontosdeacumula c aon ao-estacion ariose onde a condi c ao de Armijo n ao esteja sendo satisfeita em innitas itera c oes.Incorporando a condi c aode Armijo,o Algoritmo6.1.2pode ser reescritodaseguintemaneira.Algoritmo6.1.4-Algoritmob asicodedescidacomArmijo.Dado (0, 1)edadosxkedktaisque f(xk)Tdk< 0,escolhertk> 0comoomaiordosn umeros 1, 1/2, 1/4, 1/8, . . .talquef(xk +tkdk) f(xk) +tkf(xk)Tdk. (6.1.3)Tomarxk+1= xk +tkdk.Novamente,devemos lamentar que a condi c ao (6.1.3),embora mais exigentequeaprimeira, n aogarantaaspropriedadesdesej aveis deummetododeminimiza c ao. Comefeito,ateemumavari avelepossvelencontrarexemp-losparaosquaisoAlgoritmo6.1.4convergeaumponton aoestacion ario.Araz aoeque, nacondi c aodeArmijo, nadaimpedeatomadadepassosexcessivamente pequenos, produzindoumfen omenodotipoAquiles eatartaruga.Exerccio6.4: Encontrar contra-exemploemIRondeoAlgoritmo6.1.4convirjaaumponton ao-estacion ario.Pode ser que passos muito pequenos sejam inevit aveis,simplesmente porquepassos grandes n ao permitem um decrescimoadequado, mas e imperdo avel,dopontodevistadodesenhoalgortmico,quepassosgrandesn aosejam,pelomenos, tentados. Porisso, decidimostentarsempre, primeiroopassotk= 1 e diminuir o passo sem exageros apenas quando a condi c ao de Armijon aoesatisfeita. Entretanto, essemecanismon aoinibe,porsis o,ospassosmuitocurtos, porquepoderiaserqueopr opriotamanhodedkfossemuito6.1. ALGORITMOSGERAIS 103pequeno. Issomotiva, tambem, aintrodu c aodeumacondi c aoadicionalparadk,quechamaremoscondi c ao:|dk| |f(xk)| (6.1.4)com> 0.A condi c aode Armijo (6.1.2)e a condi c ao(6.1.4)s aosucientes para elimi-nar os inquietantes contra-exemplos unidimensionais, mas ainda n ao bastamparagarantirquetodopontodeacumula c aosejaestacion ario. Defato, sen 2, asdire c oesdedescidadkpoderiamsermaldosamenteescolhidasdemaneiraqueo anguloentredke f(xk)tendessea90graus. Ouseja, ocossenoentredke f(xk),emboranegativo,tenderiaazero. Essasitua c aopoderia provocar convergencia a um ponto n ao estacion ario. Para inibir essaeventualidade,vamos impor que os citadoscossenos estejam uniformementeseparadosde0. Logo, asdire c oestoler aveisformar aoumaespeciedeconeagudocomeixonasemi-retageradapor f(xk). Porraz oes obvias,estaser achamadacondi c aodo angulo:f(xk)Tdk |f(xk)| |dk|, (6.1.5)com (0, 1)e || = ||2.Exerccio 6.5: Encontrar umcontra-exemplobi-dimensional mostrandoquesob(6.1.2)e(6.1.4)aindapodemosterconvergenciaaumponton ao-estacion ario.Vamos ent ao reformular o Algoritmo 6.1.4, incorporando as condi c oes (6.1.4)e(6.1.5), desculpando-nosporusarotermobacktrackingsemtraduzir.Algoritmo6.1.5-Algoritmodedescidacombacktracking.Sejamx0 IRn, (0, 1), > 0, (0, 1).Dadoxk,anovaaproxima c aoxk+1eobtidadaseguintemaneira:(1)Se f(xk) = 0,parar.(2)Escolherdk IRntalque|dk| |f(xk)|f(xk)Tdk |f(xk)| |dk| .(3)t = 1.(4)Enquantof(xk +tdk) > f(xk) +tf(xk)Tdk,escolhernovot [0.1t, 0.9t].104 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEAR(5)xk+1= xk +tdk.Exerccio6.6: MostrarqueoAlgoritmo6.1.5est abemdenido.Computacionalmente, quandoacondi c aodeArmijofalhanopasso(4)doAlgoritmo6.1.5parat, aescolhadeumnovot [0.1t, 0.9t] podeserfeitaminimizando-seapar abolac ubicaqueinterpola(0), (t),

(0),

(t),onde (t) = f(xk +tdk) e

(t) = f(xk +tdk)Tdk. Se o minimizador destac ubicaestivernointervalodesalvaguarda[0.1t, 0.9t], adotamostnovocomosendoesteminimizador. Casocontr ario,tnovo= 0.5t.Exerccio6.7: Aestrategiadescritaacimaparaobterumnovotap osumfracassoemArmijodemandaaavalia c aoextrade f(xk+ tdk). Proporumaoutraestrategia, usandoinicialmenteumapar abolainterpolanteem(0), (t)e

(0)eent ao, casoocorra(m)novo(s)fracasso(s)emArmijo,prosseguircomc ubica(s)interpolante(s)em(0),

(0), (t)e(t), ondet eo ultimopassofracassadoetopassofracassadoanterior.Antes depassar aresultados te oricos, discutiremos anaturalidadedascondi c oes(6.1.4)e(6.1.5). Vemosquetantoopar ametrodacondi c aodeArmijoquantoopar ametroem(6.1.5)s aoadimensionais. Portanto, fazsentidorecomendarvaloresadequadosparaessespar ametros. Usualmente=104ou0.1e=106. J aopar ametroem(6.1.4)temdimens aofsicaquedependedasunidadesdasvari aveisedafun c aoobjetivo, oquetorna sua escolha dependente do escalamentodo problema. Devemosnotar,noentanto, queseBkdk= f(xk),ent ao |Bk| |dk| |f(xk)|ouseja|dk| 1|Bk||f(xk)|. Isto sugere um valor natural para que e o inversodeumacotasuperiorparaanormadamatrizHessiana, poisassimoalgo-ritmon aoinibeaaceita c aodadire c aodeNewton.Exerccio 6.8: Supondo f C2(IRn), mostrar que, se o n umero de condi c aodamatriz 2f(xk)euniformementelimitadoporc, ent ao1/ceumvalornaturalparaquandodk= 2f(xk)1f(xk).Para o Algoritmo 6.1.5 podemos provar um teorema de convergencia global.Osentidodapalavraglobalaqui serefereaqueaconvergenciaocorreindependentementedopontoinicial, e, demaneiranenhumaimplicacon-vergenciaaminimizadoresglobais.6.1. ALGORITMOSGERAIS 105Teorema6.1.6-ConvergenciaGlobal.Sexepontolimitedeumaseq uenciageradapeloAlgoritmo6.1.5, ent aof(x) = 0.Prova: Denotamossk=xk+1 xk= tdkparatodok ^. SejaK1 ^talque limkK1xk= x,ondedenotasubconjuntoinnito.Consideramosdoiscasos:(a) limkK1|sk| = 0.(b)Existem K2K1e > 0 taisque|sk| paratodo k K2.Suponhamos inicialmentequevalha(a).(a1)SeexisteK3K1,talquesk= dk,ent ao|f(x)| =limkK3|f(xk)| limkK3|dk|=limkK3|sk|= 0 .(a2)Separatodok K1, k k0temost < 1,ent ao,paratodok K1, k k0existe skumm ultiplodesktalque | sk| 10|sk|ef(xk + sk) > f(xk) +f(xk)T sk.Claramente,limkK1| sk| = 0ef(xk)T sk |f(xk)| | sk| (6.1.6)paratodok K1, k k0.Sejavumpontodeacumula c aode sk| sk|.Ent ao |v|= 1eexisteK4K1talque limkK4 sk| sk|= v.Portanto,f(x)Tv=limkK4f(xk)Tv =limkK4f(xk)T sk| sk|epor(6.1.6)seguequef(x)Tv limkK4|f(xk)| . (6.1.7)106 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEARAgora,paratodok K4,f(xk + sk) f(xk) = f(xk +k sk)T sk, k (0, 1).Portanto,pelofracassodacondi c aodeArmijopara sk,f(xk + sk)T sk> f(xk)T sk, paratodo k K4.Ouseja,paratodok K4,f(xk + sk)T sk| sk|> f(xk)T sk| sk|.Passandoaolimiteparak K4temos:f(x)Tv f(x)Tvou(1 )f(x)Tv 0 .Logof(x)Tv 0epor (6.1.7) segueque f(x)Tv =0. Se f(x) ,=0, novamente por(6.1.7),parak K4,ksucientementegrande,0 = f(x)Tv |f(xk)| < 0 .Portanto, f(x) = 0.Suponhamosagoraavalidadede(b): |sk| paratodok K2. PorArmijo,f(xk +sk) f(xk) +f(xk)Tsk f(xk) |f(xk)| |sk| f(xk) |f(xk)| ,paratodok K2.Portanto,f(xk+1) f(xk) |f(xk)|ouseja,f(xk) f(xk+1) |f(xk)| .6.2. OMETODODENEWTON 107Passando ao limite para k K2, pela continuidade de ftemos: limkK2|f(xk)| =0eportanto f(x) = 0. QEDExerccio6.8 Suponhaque, noAlgoritmo6.1.5, temos queexisteumaconstantec > 0talque|dk| c|f(xk)|paratodok.(a)Provarquesexeumpontolimitedaseq uenciae, alemdisso, numavizinhan cadexn aoexistenenhum outropontoondeseanuleogradiente,ent ao a seq uencia converge a x. Sugerencia: construa uma coroa circularaoredordexondesomentepodeexistirumn umeronitodeiterandos.(b) Provar que se, alem do suposto em (a), x e um minimizador local, ent aoexiste>0tal queaseq uenciaconvergeaxsempreque |x0 x| .(Convergencialocal.) Sugerencia: construa,alemdacoroa,umconjuntodenvelcontidodentrodabolamenor.(c) Mostrar que(b) n aose cumprese, emvez deminimizador local, xemeramenteumpontosela. (Exemplounidimensional.) Apesardissosecumpre(a)! Discutirestesfatos.6.2 OmetododeNewtonNoCaptulo5apresentamosometododeNewtoncomoummetodor apidopara resolver sistemas n ao lineares,com convergencialocal. Como f(x) =0eumsisteman aolinear, essemetodopodeseraplicadoe, muitasvezes,dar a bons resultados. No entanto, o metodo de Newton para sistemas n ao d apreferenciaaminimizadoressobre maximizadores,j aqueacondi c aodeoti-malidade para ambos tipos de extremos e a mesma. Por outro lado, sabemos,peloTeorema6.1.6, quaiss aooselementosquedevepossuirumalgoritmoglobalmenteconvergente.Enatural, emconseq uencia, tentar modicarometodolocal demaneiraquemanifestepredile c aopelos minimizadores econvirjaindependentementedopontoinicial.Observemos primeiroque,quando asdire c oesdks aogeradascomosolu c oesdeumsistemalinearBkdk= f(xk), temosquedTkBkdk= dTkf(xk),portanto, dire c oes de descidas aogeradas se Bk>0. Logo, e bastantesensatoimporqueasmatrizesquegeramdire c oesdebuscaemmetodosdeminimiza c aosejamdenidaspositivas.Emcontinua c aodescrevemosumamodica c aodometododeNewtonlocalqueoconverteemcasoparticulardoAlgoritmo6.1.5. Usaremosanota c ao108 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEARg(x) = f(x).Algoritmo6.2.1-Newtoncombuscalinear.Dados (0, 1), > 0, (0, 1)exk IRn,(1) Seg(xk) = 0,parar.(2) Tentarafatora c aodeCholesky: 2f(xk) = LDLT.(3) Sehouvesucessoem(2),obterdkresolvendoLz= g(xk) e DLTdk= z.(4) Se (2) fracassou, denir Bk= 2f(xk) +I, > 0, de maneira queBk> 0. Obterafatora c aodeCholesky: Bk=L DLTecalculardkresolvendoLz= g(xk) eDLTdk= z.(5) Seg(xk)Tdk> |g(xk)| |dk|,fazer max 2, 10erepetiro Passo 4, como se tivesse havido fracasso na fatora c ao de Cholesky.(6) Se |dk| < |g(xk)|,corrigir:dk |g(xk)||dk|dk.(7) Obtertporbacktrackingdemodoasatisfazerf(xk +tdk) f(xk) +tg(xk)Tdk,denirxk+1= xk +tdkevoltarpara(1).QuandoaHessiana 2f(xk)edenidapositiva, automaticamenteteremosqueumacondi c aodetipo(6.1.5) severicacomigual aorecprocodon umerodecondi c aode 2f(xk). Aomesmotempo, umacondi c aodetipo(6.1.4)valecom= 1/|2f(xk)|. Logo,sees aoescolhidossuciente-mente pequenos, as condi c oes (6.1.5)e (6.1.4)ser ao satisfeitase passaremosdiretamente ao Passo 7 com dk= [2f(xk)]1g(xk). Portanto,quase sem-pre,essaser aadire c aodebuscanocasodenido positivo. SeaHessiana6.2. OMETODODENEWTON 109n aoedenidapositiva, noPasso4adiagonal eaumentadaateconseguirque todos os autovaloressejam maioresque 0. Nestecaso, eimprov avelqueacondi c ao(6.1.5)n aosejasatisfeita,mesmoassim,testamosessadesigual-dadeecontinuamosaumentandoadiagonal seelan aovale. Para adire c ao B1kg(xk)tendeaseradire c aode g(xk),portanto,maistardeoumaiscedo, conseguiremosumparaoqual (6.1.5)sesatisfaz. Agora,no processo de aumentar , o comprimento de dkdiminui, logo, e necess ariotestar se (6.1.4) continua valendo. Se assim n ao for, no Passo 6, aumentamosotamanhodedkateatingirumalongitudequegaranta(6.1.4).Einteressanteobservar que, devidoaos resultados sobreminimiza c aoembolasdoCaptulo4, adire c aodk= [2f(xk) + I]1g(xk)esolu c aodoproblemaquadr aticoMinimizar12dT2f(xk)d +g(xk)Tdsujeitaa |d| ,onde= | [2f(xk) + I]1g(xk)|. Ouseja, entretodas as dire c oespossveiscujocomprimentoemenorouiguala |dk|,emdk,aaproxima c aoquadr aticadesegundaordemdeftomaovalormnimo.Exerccio6.9: ViabilizaroPasso4do Algoritmo6.2.1,propondo escolhasparaqueexploremoconhecimentode 2f(xk)(porexemplo, usandoosdiscosdeGerschgorin).Exerccio6.10: Mostrarqueascorre c oespropostasnospassos(5)e(6)do Algoritmo 6.2.1 s ao satisfat orias. Interpret a-las geometricamente. Exporexemplosnumericos.Exerccio6.11: Inventarometododogradiente, ondedk g(xk), eoutrosmetodosglobais. Discutirpossveispropriedades.Vimos acimaque, quase sempre, se a Hessiana edenida positiva,a dire c aoproduzidapeloAlgoritmo6.2.1coincidir acomopassoqueseriacalculadopelometododeNewtonlocal aplicadoag(x) =0. Noentanto, isson aosignica que esse passo ser a aceito,j a que a condi c ao de Armijo poderia n aosecumprir, obrigandoauma oumais redu c oesde t. Agora,comoometodode Newton local, ou puro, tem convergencia muito r apida na proximidade desolu c oes boas, e desej avel que, quando xkest a perto de uma dessas solu c oes,acondi c aodeArmijosesatisfa ca, casocontr arioestaramosrejeitandoin-crementosessencialmentebons. Felizmente, ometododeNewtonsatisfaz110 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEAResse requisito, como veremos no seguinte teorema. Usaremos, como hip otese,quef C3(IRn)(narealidade, hip otesesmaisfracass aosucientes)parapodermosutilizar, demaneirabastanteforte, umaf ormuladeTaylorcomresduodesegundaordem.Teorema6.2.2Seja xkgeradapeloAlgoritmo6.2.1com (0, 1), xumpontolimitede xktal que f(x)=0e 2f(x)>0. Ent aoaseq uenciaconvergeparax. Alemdisso,existe > 0tal que,se |xkx| ,ent aof(xk +dk) f(xk) +g(xk)Tdk, (6.2.1)comdk= 2f(xk)1g(xk) e (0,12).Prova: Sabemosquexeminimizadorlocal estritodef e, peloTeoremada Fun c ao Inversa, existe uma vizinhan ca de xque n ao contemsolu c oes deg(x)=0alemdex. Seja, ent ao, 0>0tal quef(x)>f(x)eg(x) ,=0sempreque0 < |x x| 0. Vejamosprimeiroquelimkxk= x, (6.2.2)ouseja, xeo unicopontolimitedaseq uencianestecaso. Escrevemos,para simplicar, Bk=2f(xk). Sejam1 (0, 0), M>0 tais que|2f(x)1| Msempre que |xx| 1. Portanto,quando |xkx| 1,temos |B1k| Me|xk+1xk| |dk| |B1k||g(xk)| M|g(xk)|. (6.2.3)Portanto,pelacontinuidadedeg(x),existe2 12talque|xk+1xk| 12sempreque |xkx| 2. (6.2.4)Agora, f econtnuanacoroa2 |x x| 1. Portanto, atingeumvalormnimomemalgumpontodessaregi ao. Pelasuposi c aofeitasobre0,temosquem > f(x). DenimosV= x IRn[ |x x| < 2ef(x) < m. (6.2.5)O conjunto Ve uma vizinhan ca aberta de x, portanto, como x e um pontolimitede xk,existeminnitos ndiceskpara osquais xk V . Sek0eumdesses ndices,ent ao,por(6.2.4),|xk0+1x| |xk0 x| +|xk0+1xk0| 2 +12 1. (6.2.6)6.2. OMETODODENEWTON 111Aomesmotempo, excetonocasotrivial emquexk0=x, quepodemosanalisarporseparado,f(xk0+1) < f(xk0) < m. (6.2.7)Logo, pela deni c ao de me pelas desigualdades (6.2.6) e (6.2.7), xk0+1est anaboladeraio1mas n aonacoroadenidapor 1e2. Ouseja,|xk0+1 x| f(xk) +g(xk)Tdk= f(xk) (dk)T2f(xk)dk.Ent aof(xk) 12(dk)T2f(xk)dk +r2(dk) > f(xk) (dk)T2f(xk)dk.Ouseja,r2(dk) >_12 _(dk)T2f(xk)dk.Logo,r2(dk)|dk|2>_12 _(dk)T2f(xk)dk(dk)Tdk_12 _1(k) (6.2.9)onde1(k)eomenorautovalorde 2f(xk).112 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEARQuandoxk x, dk 0ecomoosautovaloresdeumamatrizs aofun c oescontnuasdascomponentesdestamatriz,temosque1(k)convergea1,omenorautovalorde 2f(x),que,pelahip otese, emaiorque0.Logo, passando(6.2.9)aolimiteparak K1,comocomo (0,12),cheg-amos aumacontradi c ao. Elaveiodesupor quepodiamexistir innitosndicesn aosatisfazendoacondi c ao(6.2.1). Portanto,alemda convergenciaparax, temosque(6.2.1)secumpreparatodoksucientementegrande.QEDExerccio6.12: Sef(x)=12xTGx + bTx + c, comGsimetricaedenidapositiva, mostrequeapartir dequalquer xk IRnadire c aodeNewtonsatisfazArmijopara 12.No Teorema6.2.2mostramos que, em determinadas condi c oes,o metododeNewtonglobalizadodenidonestase c ao, acabacoincidindocomometododeNewtonlocal paraosistemag(x)=0, desfrutando, portantodasmes-mas propriedades relativas avelocidadedeconvergencia. Vamos resumirtudoissonoseguinteteorema, cujademonstra c aolimita-seaorganizarosresultadosanteriores.Teorema6.2.3-NewtonGlobalizado.Seja xkaseq uenciageradapeloAlgoritmo6.2.1. Ent ao,(a) Todopontodeacumula c aoeestacion ario.(b) Sef C3(IRn), xeumpontolimitetal que 2f(x)>0, 0, (0, 1).Dadosxk,Bk(ouHk) e gk= f(xk) ,= 0,(1) ResolverBkdk= gk(ou dk= Hkgk) .(2) Testarascondi c oes|dk| |gk| e gTk dk |gk||dk|,corrigindodksenecess ario.(3) Fazerbacktrackingatequef(xk +tdk) f(xk) +tgTk dk.(4) Denirxk+1= xk +tdk,sk= xk+1xk,yk= gk+1gkeescolherBk+1talqueBk+1sk= yk(ouHk+1talqueHk+1yk= sk).6.3. METODOSQUASE-NEWTON 115Acorre c aoparadkmencionadanoPasso2einteiramentearbitr aria. Porexemplo,qualquervetordkdaforma g(xk),com satisfar a,obvia-mente,ascondi c oes(6.1.4)e(6.1.5). Mas,emcasosparticulares,corre c oesmaisinteligentespodemsertentadas.Exerccio6.14: Inventar outras corre c oes para dkno Passo 2 do Algoritmo6.3.1, de maneira de aproveitar melhor a informa c ao contida na aproxima c aoBk(ouHk).Vamos introduzir f ormulas que satisfazem () ou () e, portanto, geram metodossecantes. EmIR,existeuma unicapossibilidade: Bk+1= yk/skouHk+1=sk/yk. Emgeral, qualquermatrizBk+1cumprindo()pertence` avariedadeamBsk=ykemIRnn. Pelomesmoargumentousadoemsistemasn aolineares, estavariedadeen aovaziae, portanto, teminnitoselementossen 2.Por raz oes que veremos mais adiante, emuito freq uente obter Bk+1a partirdeBkmedianteumaatualiza c aodepostodois. Nessecaso,Bk+1= Bk + B

k + B

kecomoBk+1sk= yk,segueque(Bk + B

k + B

k)sk= ykouseja,B

ksk + B

ksk= ykBksk(6.3.7)Existemmuitas maneiras daequa c ao(6.3.7) ser satisfeita. Por exemplo,seB

ksk= ykeB

ksk= Bksk, eimpomosqueBk, B

keB

ksejamsimetricas,temosaseguinteatualiza c ao:B

k=ykyTkyTkske B

k= BksksTkBksTkBksk.Dessamaneira,obtemosaseguintef ormulasecante:Bk+1= Bk +ykyTkyTk skBksksTkBksTkBksk. (6.3.8)Aescolha(6.3.8)econhecidacomof ormulaBFGS,descobertaindependen-temente por Broyden, Fletcher, Goldfarb e Shanno em 1970.E a atualiza c aosecantemaispopularparaminimiza c aosemrestri c oes.116 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEARExerccio6.15: Provarque,naf ormulaBFGS,B1k+1= B1k+ (skB1kyk)sTk+sk(skB1kyk)TsTkyk(skB1kyk)TyksksTk(sTkyk)2.TendoemvistaoExerccio6.15,aformula c aodualdaf ormulaBFGSefeti-vamenteusada e:Hk+1= Hk +(skHkyk)sTk+sk(skHkyk)TsTkyk(skHkyk)TyksksTk(sTkyk)2.(6.3.9)Em(6.3.9)observamosqueaobten c aodeHk+1apartirdeHk(ouB1k+1apartirdeB1k)demandaapenasO(n2)opera c oes,comodesej avamos.Exerccio 6.16: Utilizando a mesma heurstica usada na obten c ao daf ormulaBFGS,mas trabalhandoinicialmentena formula c aodual(matrizesH), inventaraf ormulaDFP(introduzidaporDavidonem1959eestu-dadaporFletcherePowellem1963).Af ormulaBFGSeaDFPtemapropriedadedeproduzir,geralmente,ma-trizes denidas positivas e, portanto, dire c oes de descida, que, freq uentemente,n aoprecisar aocorre c ao. Acondi c aosucienteparat aointeressantepro-priedade edadanoseguinteteorema.Teorema6.3.2Naf ormulaBFGS(6.3.8), seBkesimetricadenidapositivaesTkyk>0,ent aoBk+1tambemesimetricaedenidapositiva.Prova: Sejaz ,= 0, z IRn. Ent aozTBk+1z= zTBkz +(zTyk)2yTk sk(zTBksk)2sTkBksk,ondezTBkz> 0e(zTyk)2yTk sk 0. Agora,chamandoa = zTBkz (zTBksk)2sTkBksk=sTkBkskzTBkz (zTBksk)2sTkBksk,temosque,peladesigualdadedeCauchy-Schwarz,quea 0.6.3. METODOSQUASE-NEWTON 117Naverdade, a =0 apenas quandoz e m ultiplo de sk, mas neste caso,zTyk ,= 0eportanto(zTyk)2sTkyk> 0. LogozTBk+1z> 0. QEDExerccio6.17: Enunciareprovaroresultadoan alogoaoTeorema6.3.2paraaf ormulaDFP.O signicadode sTkyk> 0precisa serdesvendado. Temos sTkyk= sTk(gk+1gk)=sTkg(xk+ tdk) sTkg(xk)=

(t)

(0), onde(t)=f(xk+ tdk).Ouseja,quando sTkyk> 0opassoqueacabousatisfazendo(6.1.3)etalque

(t) >

(0). Emoutraspalavras,aderivadadirecionaldefnadire c aodedkemaiornopontoxk+1quenopontoxk.Ef acilverqueessacondi c aoesatisfeitaautomaticamente, porexemplo,seafun c aofeconvexaaolongodadire c aodk.Tantoaf ormulaDFPquantoaBFGSsatisfazemoutrapropriedadeimpor-tante, que foi bastante destacada nos prim ordios dos metodos quase-Newton(ver [70]): quando aplicados ` a minimiza c ao de uma quadr atica com Hessianadenida positiva e com o passo t calculado como o minimizador da fun c ao aolongodadire c aodk,aconvergenciaaominimizadordaquadr aticaeobtidaemnom aximonitera c oes. Sabe-se,poroutrolado,queaf ormulaBFGSeprefervel` aDFP,oque foivericadoexperimentalmenteaolongodosanos,eparcialmenteexplicadodo pontodevistate oricopor Powelleoutros. Ver[165] e[157]. Ateoriadeconvergenciadealgoritmosbaseadosnaf ormulaBFGSainda apresenta pontos n ao elucidados. O Algoritmo6.3.3 e uma im-plementa c aodeumesquemaBFGScomocasoparticulardoesquemageraldaprimeirase c aodestecaptulo, onde, simplesmente, asdire c oesquen aosatisfazem (6.1.4) e (6.1.5) s ao descartadas. Com a gera c ao BFGS e possvelobservarnapr aticaqueessedescarte eextremamenteraro.Algoritmo6.3.3-BFGSglobalizado.Sejam (0, 1), >0, (0, 1), x0 IRn, H0=HT0 , H0>0(p. ex.,H0= I).Dadosxk, Hkegk= f(xk) ,= 0,(1) dk= Hkgk.(2) Se(gTk dk> |gk| |dk|), substituirdkpor gkeHkporI. Se(|dk| < |gk|)substituirdkpor|gk|dk/|dk|118 CHAPTER6. MINIMIZACAOIRRESTRITAEBUSCALINEAR(3) Fazerbacktrackingatequef(xk +tdk) f(xk) +tgTk dk.(4) xk+1= xk +tdk, sk= xk+1xk, yk= gk+1gk.SesTkyk 0,ent aoHk+1 = Hkcasocontr ario,Hk+1= Hk+(skHkyk)sTk+sk(skHkyk)TsTkyk(skHkyk)TyksksTk(sTkyk)2.Exerccio 6.18: Umaoutraf ormulasecante e obtidaprojetando-se BknavariedadeBsk=yksegundoanormadeFrobenius(verexerccio5.3).Determinarestaatualiza c ao, conhecidacomoprimeirometododeBroyden,mostrandoque:(a) Bk+1= Bk +(ykBksk)sTksTksk.(b) B1k+1= B1k+(skB1kyk)sTkB1ksTkB1kyk,ouseja,Hk+1 = Hk +(skHkyk)sTkHksTkHkyk.(c) |Bk+1Bk|2 |BBk|2para toda B IRnntal que Bsk= yk.Exerccio 6.19: Para AIRnn, mostrar que12(A+AT) e a matrizsimetricamaispr oximadeAnanormadeFrobenius.Exerccio6.20: SeguindoamesmaideiadoprimeirometododeBroyden(Exerccio6.18), masimpondotambemsimetria, encontraraf ormulaPSB(Powell symmetricBroyden,[162]):Bk+1= Bk +(ykBksk)sTk+sk(ykBksk)TsTksk(ykBksk)TsksksTk(sTksk)2.Exerccio6.21:(a) Construiraf ormulaPSBtipoH.6.3. METODOSQUASE-NEWTON 119(b) Infelizmente, a atualiza c ao PSB nem sempre gera matrizes denidaspositivas. Mostrar que numa vizinhan ca de x tal que 2f(x) > 0,seBk>0, Bk+1dadapelaf ormulaPSBtambemedenidaposi-tiva.Demaneiraan alogaaoquezemosparaobteraf ormulaBFGS, tambempodemos determinaruma atualiza c aosecantesimetricaedepostounit ario.Queremos Bk+1sk= yk, onde Bk+1= Bk+Bk. Ent ao, (Bk+Bk)sk= yk,ousejaBksk= ykBksk. Paraquehajasimetria,fazemos:Bk=(ykBksk)(ykBksk)T(ykBksk)Tsk.Obtemosassimaf ormulachamadaAtualiza c aosimetricadepostoum,Bk+1= Bk +(ykBksk)(ykBksk)T(ykBksk)Tsk. (6.3.10)Exerccio 6.22: Mostrar que a formula c ao dual para a atualiza c ao simetricadepostoum edadapor:Hk+1= Hk +(skHkyk)(skHkyk)T(skHkyk)Tyk.Aatualiza c ao simetrica de postoumn ao gera necessariamente matrizesdenidas positivas, e, tampouco h a garantia de que o denominador de (6.3.10)sejadiferentedezero. Istosugerequeestaatualiza c aoepropensaasev-erainstabilidadenumerica. Entretanto, osresultadospr aticosobtidoss aosurpreendentementebons. Adescobertadeumateoriaexplicativaparaocomportamentodestaf ormulaaindaconstituiumdesao. Aatualiza c aodepostoumfoireinventadav ariasvezespordiversosautoresej aaparecianoartigopioneirodeDavidonem1959. Umresu