ANALISEESTATISTICADEDADOSUSANDOMETODOSBAYESIANOSCEMEQ-CentrodeMetodosQuantitativosRibeiraoPreto2008Sumario1 ConceitosBasicos: MetodosBayesianos 31.1 Introduc ao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Distribuicoesaprioriconjugadas . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3 Priorinormaleverossimilhancanormal . . . . . . . . . . . . . . . . . . . . . . . 81.4 InferenciaBayesiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.4.1 Estimac aoporintervalo: . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.4.2 Testesdehip oteses: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.4.3 TeoriaBayesianaAssint otica: . . . . . . . . . . . . . . . . . . . . . . . . 91.4.4 Estimac aoporponto: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.5 Vetoresparametricos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.6 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 DensidadesPreditivaseDiscriminacaodeModelos 172.1 UsodaDensidadePreditivaparaVericacaodaAdequabilidadedeumModelo. 192.2 OFatordeBayesaposteriori . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.3 DistribuicoesPreditivasAlternativas . . . . . . . . . . . . . . . . . . . . . . . . 202.4 UsodaDensidadePreditivanaDiscriminac aodeModelos . . . . . . . . . . . . . 202.5 ResduosBayesianos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202.6 Pseudo-FatordeBayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.7 OutrosCriteriosparaDiscrimina c aodemodelos . . . . . . . . . . . . . . . . . . 222.8 TeoriaBayesianadeDeFinetti . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.8.1 TeoremadaRepresentac aodeDeFinettiparaQuantidadesAleatorias0-1 242.9 UmanotasobreTestesdeHip otese . . . . . . . . . . . . . . . . . . . . . . . . . 242.9.1 Hip otesesimplescontraalternativacomposta . . . . . . . . . . . . . . . 252.10 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 DistribuicoesaPriori 283.1 MetodoEstruturaldeElicitac ao. . . . . . . . . . . . . . . . . . . . . . . . . . . 283.2 MetodoPreditivodeElicitac ao . . . . . . . . . . . . . . . . . . . . . . . . . . . 293.3 DistribuicoesaPrioriN ao-informativas . . . . . . . . . . . . . . . . . . . . . . . 303.4 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 Aproximac oesNumericaseMetodosdeMonteCarlo 384.1 Aproxima caodeLaplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384.2 MetododeMonteCarloOrdin ario . . . . . . . . . . . . . . . . . . . . . . . . . . 414.3 MetododeMonteCarloporImportancia . . . . . . . . . . . . . . . . . . . . . . 424.4 AlgoritmodeAmostragem-ReamostragemporImportancia . . . . . . . . . . . . 444.5 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471SUMARIO 25 MetodosdeMonteCarloemCadeiasdeMarkov 495.1 OAmostradordeGibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495.1.1 MetododeGelmaneRubinparamonitoraraconvergenciadoalgoritmo 515.2 AlgoritmodeMetropolis-Hastings . . . . . . . . . . . . . . . . . . . . . . . . . . 595.3 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736 Algumasaplicacoes 766.1 ModelosBayesianosHier arquicos . . . . . . . . . . . . . . . . . . . . . . . . . . 766.2 AnaliseBayesianaEmprica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78Apendices 94AResolucaodeAlgunsExerccios 94A.1 Capitulo1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94A.1.1 Item1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94A.1.2 Item2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94A.1.3 Item3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96A.1.4 Item4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97A.1.5 Item5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98A.1.6 Item6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99A.2 Capitulo2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100A.2.1 Item1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100A.2.2 Item2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101A.2.3 Item3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102A.2.4 (a) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102A.2.5 (c) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103A.3 Capitulo3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103A.3.1 Item1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103A.3.2 Item2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103A.4 Capitulo4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104A.4.1 Item1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104A.4.2 Item2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107A.4.3 Item3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110A.5 Capitulo5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110A.5.1 Item1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110A.5.2 Item2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113CEMEQ - Centro de Metodos QuantitativosCaptulo1ConceitosBasicos: MetodosBayesianos1.1 IntroducaoO uso de metodos Bayesianos tem se tornado uma alternativa poderosa na an alise de dados.Afundamentac aodateoriadeinferenciaBayesianaebaseadanaf ormuladeBayes dadaaseguir:F ormuladeBayes: SejamoseventosA1, A2, . . . , Akformandoumaseq uenciadeeventosmutuamente exclusivos e exaustivos formando uma partic ao do espaco amostral , isto e,k_j=1Aj= eAiAj= (conjuntovazio)parai = jtalqueP_k_j=1Aj_=k

j=1P (Aj) =1.Ent aoparaqualqueroutroeventoB(B ),temos,P (Ai | B) =P (B | Ai) P (Ai)k

j=1P (B | Aj) P (Aj)(1.1)paratodoivariandode1atek.Podemos interpretar a formula de Bayes (1.1) da seguinte forma: antes do conhecimento dequalquerinformac aosobreoeventoAi,atribuirumaprobabilidadeaprioriparaAi,dadaporP (Ai); essa probabilidade e atualizada a partir da ocorrencia do evento B. Essa probabilidadeatualizada,ouprobabilidadecondicionaldoeventoAidadoaocorrenciadoeventoB,ouseja,P (Ai | B) edadapelaf ormuladeBayes(1.1).Exemplo1.1: UmnovotestediagnosticoparadetectarovrusHIVeapresentadocomotendo95%desensitividadee98%deespecicidade. Emumapopulacaocomumprevalenciade 1/1000 para o vrus HIV, qual e a chance de alguma pessoa com teste positivo ter realmenteovrusHIV?Seja A o evento que representa o indivduo que realmente e portador do vrus HIV; denotarporA o evento complementar, isto e, o indivduo realmente n ao e portador do vrus HIV e sejaBoeventoquerepresentaumresultadopositivoparaoteste. TemosinteresseemdeterminarP (A | B).Observequeumasensibilidadeiguala95% edadaporP (B | A) = (testepositivo | indivduo eportadordovrusHIV) = 0, 9531.1. INTRODU CAO 4equeumaespecicidadeiguala98% edadaporP_B |A_= (testenegativo | indivduon ao eportadordovrusHIV) = 0, 98isto e,P_B |A_= 1 P_B |A_= 0, 02.Pelaf ormuladeBayes(1.1),temosP (A | B) =P (B | A) P (A)P (B | A) P (A) +P_B |A_P_A_ (1.2)ObservequenestecasooseventosAeAparticionamoespa coamostral.Assim,P (A | B) =0, 95 0, 0010, 95 0, 001 + 0, 02 0, 999= 0, 045ObservequeP (A) =0, 001eaprobabilidadeapriori deumindivduoser portador dovirusHIV(prevalenciadovirusHIVnapopula cao)eP (A | B)=0, 045eaprobabilidadeaposteriori atualizadacomainformac aodeumtestecomresultadopositivoparaoindivduo.Desseresultado, observamosquemaisde95%dosindivduoscomresultadospositivosparaotesten aotemovirusHIV.Assumindoagoraquetemosumvetordedadosy=(y1, . . . , yn)

equantidadesdesconhe-cidas representandoos par ametros deumadistribuic aodeprobabilidadeassociadacomavari avelaleatoriaYicomvaloresobservadosyi,i = 1, . . . , n.Considerandoumaamostraaleat oriay = (y1, . . . , yn),isto e,osdadoss aoindependenteseidenticamentedistribudoscomumadistribuicaoconjuntadadapeladensidadef (y | ),tam-bem denida como func ao de verossimilhan ca para quando os dados foram observados e umadistribuic ao a priori para ,dada por (),assumindo os valores discretos 1, . . . , k, temos de(1.1),adistribui caoaposterioriparaidadoy, (i | y) =f (y | i) (i)k

j=1f (y | j) (j)(1.3)Observarqueopar ametrotambemeconsideradocomoumaquantidadealeatoriasoboenfoqueBayesiano.Supondoagoraqueoparametroassumevalorescontnuosnumdadointervalo, podemosescrever(1.3)por ( | y) =f (y | ) ()_f (y | ) ()(1.4)emqueaintegralnodenominadorde(1.4) edenidanointervalodevariacaode.Exemplo 1.2: SejaY umavariavel aleat oriacomdistribuic aobinomial denotadaporb (n, ),em que e assumida com uma distribui cao a priori beta,denotada por beta(a, b),comhiperpar ametrosaebconhecidos. Assim,f (y | ) =_ny_y(1 )ny(1.5)CEMEQ - Centro de Metodos Quantitativos1.1. INTRODU CAO 5emquey= 0, 1, 2, . . . , n,e () =1B(a, b)a1(1 )b1; 0 < < 1 (1.6)emqueB(a, b) =(a) (b)(a +b)eafunc aobeta.Observarque(a)denotaumafunc aogama,dadapor(a) =_0ta1exp (t) dtAdistribuic aoaposterioriparaedada,apartirde(1.4),por ( | y) =y+a1(1 )n+by1_10y+a1(1 )n+by1dComo1_0y+a1(1 )n+by1d =(y +a) (n +b y)(n +a +b)temos, ( | y) =1B(y +a, n +b y)y+a1(1 )n+by1(1.7)para0 t), emque T e umavariavelaleat oria positiva representando o tempo de vida de um componente. Assumir que S (t) para txado,assumedoisvalorespossveis: S (t) = 1= 0, 50ouS (t) = 2= 0, 90.Assumirduasdecisoespossveis:d1:oestimadordeS (t) e1oud2:oestimadordeS (t) e2.Consideraraseguintefun caodeperdaL(d; ):Tabela1.2: Decis ao.d1d2S (t) = 10 5S (t) = 23 0Tambemassumiraseguintedistribuic aoaprioridiscreta: (1) = 1/4; (2) = 3/4.(a)Acharasoluc aoBayesiana.(b)Retirarumaunidadeetesta-laparaotempot: falhaousobrevivencia.Assumir Z= 1 (sobrevivencia) e Z= 0 (falha) e assumir f (z= 1 | 1) = 0, 50; f (z= 1 | 2) =0, 90;f (z= 0 | 1) = 0, 50ef (z= 0 | 2) = 0, 10.Acharasoluc aodeBayesquandoretiramosumaunidade.(3)AssumirqueXrepresentaotempodesobrevivenciadeumaunidadecomdistribuic aoexponencial comdensidadef (x | ) =exp (x) , x>0. Assumirumaamostraaleat oriadetamanhon(X = (x1, . . . , xn)). Tambemassumirumadistribuicaoapriorin ao-informativaparadadapor () 1/, > 0.(a)AcharadensidadeaposterioriparadadoX.(b)AcharoestimadorBayesianoparaconsiderandooerroquadraticomedio.(c)Qual eamodadadistribui caoaposteriori?CEMEQ - Centro de Metodos Quantitativos1.6. EXERCICIOS 16(d)Acharadistribuic aoaposterioriparaotempodesobrevivenciamediano.(4)AssumirumadensidadenormalN (, 4),isto e,f (x | ) =122exp_18 (x )2_emque < x < .Considerarumadistribuic aoapriorinormalN (0, 2),com2conhecido,para.(a)Acharadistribuic aoaposterioripara.(b)AcharoestimadordeBayesparacomrespeito`afuncaodeperdaquadr atica.(c)Emqualsituac aoasoluc aoobtidapeloestimadordemaximaverossimilhancacoincidecomasolucaodeBayescomrespeito`aperdaquadratica?(5)Assumirquevocetenhaumadistribuic aosubjetivaparaatemperaturamediadospr o-ximosdias,dadapeladensidade, () =()1exp () , > 0emquees aoconhecidos(E () = /evar () = /2).EscolhervaloresparaE ()evar ()querepresentamsuaopiniaosobreatemperaturaecalcularosvalorescorrespondentesdee. Acharadecis aodeBayesdparaquandoafuncaodeperda edadaporL(d, ) = (d )2+d221000ecomentarporqueesseestimador emaiordoqueE ().(6)Suporque(x1, . . . , xn)sejaumaamostraaleat oriadeumadistribui caodePoissoncommediaequetemumapriorigamacompar ametrosconhecidose.(a) Achar a distribuicao a posteriori para e escrever a media a posteriori como uma mediaponderadadamediaapriori/eamediaamostral x.(b)Mostrarqueavarianciaaposteriori edadaporvar ( | x) = +n x( +n)2(c) Mostrar que a vari ancia a posteriori e menor do que a variancia a priori se e somente se x 0.Assumirumadistribuic aoGama (, )paracomeconhecidos.Afuncaodeverossimilhancaparaedadapor,L() = nexp_n

i=1yi_(2.6)Combinando-seapriori gama(, ) paracomaverossimilhan ca(2.6), encontramos adistribuic aoaposteriori paradadaporumadistribuic aoGama (1, 1)com1= + ne1= +n y.Adensidadepreditivaparaumaobserva caofuturayn+1edadapor,f (yn+1 | y) =_0 exp (yn+1) ( | y) d (2.7)=11(1)_0(1+1)1exp [ (1 +yn+1)] dIsto e,f (yn+1 | y) =11(1 + 1)(1) (1 +yn+1)1+1(2.8)Observandoque(1 + 1) = 1(1)temos,f (yn+1 | y) =111(1 +yn+1)1+1(2.9)(umadensidadedePareto).Comoilustrac aonumerica,considereotrabalhocir urgicodeummedicoqueexigeousodeumam aquinadecontroledebatimentoscardacosporumperodode4horasconsecutivasdefuncionamento. Ataxadefalhasporhoradessam aquinavariadependendodeondeeusada,masofabricantegarantequeataxamedia defalhadam aquinaede10vezesacada100horasdeuso. Avari anciadeedadaporV= 0, 01.Comoobjetivodecontroledequalidade, suporumaa. a. comm=5funcionamentosconsecutivosdoequipamentoatefalhar: 3, 2; 12, 7; 20, 6; 7, 9e10, 2(temposemhoras).A partir desses dados, encontramos a media amostral y= 10, 92. Para achar a probabilidadedequeaproximafalhaocorreraantesdoterminodotrabalhocir urgico,assumir:(a)Ostemposdevida(funcionamentoatefalhar)yi,i = 1, 2, . . . , 5s aovari aveisaleat oriasi. i. d. comdistribuic aoexponencialcomtaxadefalhasigual` a;(b)Opar ametrotemumadistribuic aoaprioriGama (, )comeconhecidos;(c)E () == 0, 10eV ar () =2= 0, 01. Assimencontramos= 1e= 10,apartirdainformac aodofabricantedoequipamento.Assim, a distribuic ao a posteriori para e uma distribui cao Gama (1, 1) com 1= +n =1 + 5 = 6e1= +n y= 10 + 54, 6 = 64, 6. Assim,f (y6 | y) =111(1 +y6)1+1=6 (64, 6)6(64, 6 +y6)7Portanto,P (y6> 4) = 1 P (y6 4) ,CEMEQ - Centro de Metodos Quantitativos2.1. USODADENSIDADEPREDITIVAPARAVERIFICA CAODAADEQUABILIDADEDEUMMODELO 19emqueP (y6 4) =_406 (64, 6)6(64, 6 +y6)7dy6= 1 (64, 6)6(4 + 64, 6)6= 0, 26Isto e,P (y6> 4) = 0, 74.2.1 Uso da Densidade Preditiva para Vericacao da Ade-quabilidadedeumModeloSejaf (y | )adensidadeconjuntaparaosdadoseseja ()adensidadeaprioripara.Umadenic aoalternativaparaadensidadepreditiva edadapor,f (y) =_f (y | ) () dy (2.10)Adensidadepreditiva(2.10)tambem edenidacomofunc aodeverossimilhancamarginal.SuporqueM1eM2sejamdoismodelosdistintos.FatordeBayes: OfatordeBayes edenidopor,B12=f (y | M1)f (y | M2)(2.11)UsamosofatordeBayes(2.11)paracomparardoismodelosM1eM2.ObservarqueofatordeBayesB12requeraespecicacaodadistribuic aoapriori ()sobambososmodelos. Quandoconsideramosdistribuic oesapriori naoinformativasimpropriaspara , essas distribuicoes a priori s ao denidas em termos de constantes arbitr arias ci, i = 1, 2.Dessa forma B12 e denida em termos da raz aoc1c2que e arbitr aria. Isso e um problema quepodelimitarousodofatordeBayesnadiscrimina caodedoismodelosquandoconsideramosdistribuic oesapriorinaoinformativasimpr opriasparaospar ametrosdosmodelos.Para contornar esse problema, algumas modicac oes s ao sugeridas na literatura para o fatordeBayes(verporexemplo,SpiegelhaltereSmith,1982;BergerePerichi,1996;Aitkin,1991).Quandoconsideramosdistribuic oesapriori propriaspara, ofatordeBayesereduzidoparaumproblemadetestesdehip oteses.2.2 OFatordeBayesaposterioriSobomodeloMi, i=1, 2, dadaafuncaodeverossimilhancaf (yi)eadistribuic aoapriori (i),adistribui caoaposteriori edadapor, (i | y) =f (y | i) (i)_f (y | i) (i) di(2.12)parai = 1, 2.Aitkin(1991)deneofatordeBayesaposterioridomodeloM1contraomodeloM2,por,BA12=LA1LA2(2.13)CEMEQ - Centro de Metodos Quantitativos2.3. DISTRIBUI COESPREDITIVASALTERNATIVAS 20emqueLAi=_f (y | i) (i | y) diparai = 1, 2eirepresentaovetordospar ametrossobomodeloMi,i = 1, 2.ObservarqueLAi=Ei|y [f (y | i)] eamediaaposteriori dafunc aodeverossimilhancaf (y | i). ObservartambemqueofatordeBayesaposterioriexistesobdistribuic oesapriorin ao-informativas.2.3 Distribuic oesPreditivasAlternativasPara discrimina cao de modelos podemos denir uma vers aocross-validationda distribuicaopreditivadadapor,f_yr | y(r)_=_f (yr | ) _ | y(r)_d (2.14)paray(r)=(y1, . . . , yr1, yr+1, . . . , yn) emque_ | y(r)_eadensidadeaposteriori paradadoy(r)(verporexemplo,Geisser,1975;ouGelfandeDey,1994).Paraaverica caodaadequabilidadedeummodelo, adensidadepreditivaf_yr | y(r)_eusada com yr, r = 1, . . . , n no sentido de que um modelo e adequado se yrpode ser consideradocomoumaobservacaoaleatoriadadensidadef_yr | y(r)_.Deniraordenadapreditivacondicional(CPO)pordr= f_yr | y(r)_(2.15)(verGeisser,1990).Podemos discriminar dois ou mais modelos, a partir de gr acos de dr versus r, r = 1, 2, . . . , n;maioresvaloresdedremmedia,indicamomelhormodelo.Outraalternativa eusaroprodutodeCPO

sdadoporc (l) =n

r=1dr (l) (2.16)emquelindexamodelos. Assim,omodeloM1emelhordoqueomodeloM2,sec (1) > c (2).2.4 Uso da Densidade Preditiva na Discriminacao deModelosParacompararummodeloM1comummodeloM2,podemosusarofatordeBayesB12=f(y|M1)f(y|M2).Comos dados observados y, omodeloM1e melhor doque omodeloM2se B12>1.Emgeral, podemos considerar 2 log B12(ver Raftery, 1996; ouKass eRaftery, 1995) esuaintepreta cao ebaseadanocriterioproprostoporJereys(1961)eapresentadanatabela2.1.2.5 ResduosBayesianosSejax = (x1, . . . , xn)

umaamostraobservadae ( | x)adistribuic aoaposterioriparadadox.Sejay=(y1, . . . , yn)

umaamostradevalida cao, istoe, umaamostraindependentedexusadaparavalidaromodeloemestudo.CEMEQ - Centro de Metodos Quantitativos2.5. RESIDUOSBAYESIANOS 21Tabela2.1: EscaladeevidenciadomodeloM1.B122 log B12EvidenciadeM1< 1 < 0 negativa1, 2, 3 0, 1, . . . , 2 difcildecis ao3, . . . , 12 2, . . . , 5 positiva12, . . . , 150 5, . . . , 10 forte> 150 > 10 muitoforteAdensidadepreditivaparaydadox(ver(2.1)) edadapor:f (y | x) =_f (y |) ( | x) d (2.17)Usamos f (y | x) para avalia cao do modelo. O valor medio e a vari ancia preditiva para cadacomponentedeys aodados,respectivamente,por,E (yi| x) =_yif (y | x) dy (2.18)V ar (yi| x) =_[yiE (yi| x)]2f (y | x) dyparai = 1, 2, . . . , n.OsresduosBayesianospadronizadoss aodadospor:di=yiE (yi| x)_V ar (yi| x)(2.19)parai = 1, 2, . . . , n.Ousodos resduos Bayesianos e semelhante aousodos resduos nainferenciacl assica:gr acosderesduosversuspreditos(valoresmediospreditos); gracosderesduosemordemtemporal.Na pr atica, podemos particionar uma amostra grande em duas amostras: uma parte (amos-traobservada)eusadaparaconstruiradistribuicaoaposteriori eaoutraparte(amostradevalidac ao) eusadaparaobteradistribuicaopreditiva.Outrapossibilidadenaconstruc aoderesduos BayesianoseousodetecnicasJacknife(leaveoneout)consideradosnase cao2.3. Assim,considerarx(i)= (x1, . . . , xi1, xi+1, . . . , xn)

eacharadensidadepreditivadexidadox(i)parai = 1, 2, . . . , n:f_xi | x(i)_=_f (xi | ) _ | x(i)_d (2.20)DenirosresduosBayesianospor:di=xiE_xi | x(i)__V ar_xi | x(i)_(2.21)parai = 1, 2, . . . , n.Nota: Osvaloresobservadosdef_xix(i)_(ordenadaspreditivascondicionaisouCPO)podemserusadosemumdiagn osticoinformal. ValoresbaixosdeCPOdevemcorresponderaCEMEQ - Centro de Metodos Quantitativos2.6. PSEUDO-FATORDEBAYES 22observacoesmalajustadas.2.6 Pseudo-FatordeBayesComoalternativaaofatordeBayes,usaroprodutodaspreditivasparaxidadox(i),dadopor,n

i=1f_xi | x(i)_nacompara caodemodelos.SejamM1eM2doismodelospropostosparaanalisarosdados. Opseudo-fatordeBayes edadopor,BPF12=n

i=1f_xi | x(i), M1_n

i=1f_xi | x(i), M2_(2.22)Napresencademaisdedoismodelos,calcularparacadamodelooproduton

i=1f_xi | x(i)_,ouequivalentemente,asomadoslogaritmosdasordenadaspreditivascondicionaiseescolheromodeloqueapresentaromaiorvalor.Nota: A soma dos quadrados (ou dos valores absolutos) dos resduos padronizados tambempodemserusadosnaselec aodemodelos.2.7 OutrosCriteriosparaDiscriminacaodemodelosParadiscriminarmodelos,tambempodemosconsiderarocriterioAIC(Akaikeinformationcriterion); o criterio BIC (Bayesian information criterion) e o criterio DIC (Deviance informationcriterion). Essescriterios penalizam afun caodeverossimilhanca(acomplexidadedomodeloentranocriteriodeselec ao).CriterioAIC:AssumirdoismodelosM1eM2. OcriterioAIC edadopor:AIC= 2 ln_supM1 f (y | 1, M1)supM2 f (y | 2, M2)_2 (p2p1) (2.23)emquepi, i=1, 2representaon umerodepar ametrosemcadamodelo(criteriobaseadonaeciencia classica freq uentista). A funcao de verossimilhanca f (y | i, Mi) deve ser maximizadasobcadamodelo. TambempoderamosdenirAICi=2 ln L_i | Mi_ 2pi, i=1, 2emqueieoestimadordem aximaverossimilhan caparaieassimmaioresAICiindicammelhoresmodelos.CriterioBIC:AssumirdoismodelosM1eM2. OcriterioBIC edadopor:BIC= 2 ln_supM1 f (y | 1, M1)supM2 f (y | 2, M2)_2 (p2p1) ln(n) (2.24)emquen eadimensaodaamostraepi,i = 1, 2 eon umerodepar ametrosnomodeloMi.DamesmaformapoderiamosdenirBICi=2 ln L_i | Mi_ pi ln (n)parai =1, 2emqueieoestimadordemaximaverossimilhancaparai.Notas (1): Para amostras grandes, Schwarz (1978) mostra que BIC e uma boa aproximac aopara 2 ln B12,emqueB12(2.23) eofatordeBayes.CEMEQ - Centro de Metodos Quantitativos2.8. TEORIABAYESIANADEDEFINETTI 23Notas(2): CarlineLouis(2000)introduzemumamodicacaodoBICiparaaforma,

BICi= 2E [ln L(i | y, Mi)] pi ln(n) (2.25)escolhendo o modelo Mi que apresenta maior valor de BICi. Essa forma do BIC e muito usadaquandometodosMCMC(MonteCarloemcadeiasdeMarkov)s aoutilizados.CriterioDIC:OcriterioDICemuitoutilizadoeminferenciaBayesianaaplicadaespeci-almenteusandometodosdeMonteCarloemCadeiasdeMarkov.Denirodesvio(deviance)por:D() = 2 ln L() +C (2.26)emqueeumvetordepar ametrosdesconhecidosdomodelo;L() eaverossimilhan caeCeumaconstanten aonecess ariamenteconhecidanacomparac aodedoismodelos.OcriterioDICdenidoporSpiegelhalteretal(2002) edadopor,DIC= D__+ 2pD(2.27)em que D__e o desvio calculdado na media a posteriori = E ( | y) e pD e o n umero efetivodepar ametrosnomodelo, dadoporpD=D D__, emqueD=E [D() | y] eamediaaposterioridodesvioquemedeaqualidadedoajustedosdadosparacadamodelo. MenoresvaloresdeDICindicammelhoresmodeloseessesvalorespodemsernegativos.Ocriterio DICe implementado emsoftwares usados para obter inferencias BayesianasusandometodosMCMC(MonteCarloemcadeiasdeMarkov). Umsoftwaremuitoutilizado eosoftwareWinbugs(Spiegelhalteretal,1999).2.8 TeoriaBayesianadeDeFinettiUmmetodo mais formal para a metodologia Bayesiana foi introduzida por De Finetti(1930, 1937, 1964)baseadanasdistribuic oespreditivas.Dessaforma, ummodelopreditivoparaumaseq uenciadevari aveisaleatoriasX1, X2, . . .eumamedidadeprobabilidadeP, quematematicamenteespecicaaformadadistribui caoconjuntaparaqualquersubconjuntodeX1, X2, . . . quedeveincorporaralgumaformadede-pendenciaentreasquantidadesaleat orias.Issoebaseadonaespecica caodapermutabilidadeenoteoremadarepresentac aodeDeFinetti(verporexemplo,BernardoeSmith,1995).PermutabilidadeFinita: As quantidades aleatorias X1, . . . , Xns ao permut aveis sob umamedidadeprobabilidadePse,P (X1, . . . , Xn) = P_X(1), . . . , X(n)_(2.28)paratodasaspermutacoesdenidasnoconjunto {1, 2, . . . , n}. Emtermosdedensidadeoufuncaodeprobabilidade,p (x1, . . . , xn) = p_x(1), . . . , x(n)_(2.29)Nota: Observar que a suposic ao de permutabilidade captura em essencia a ideia deamostraaleat oria, aqui semsentidopoisimplicaaideiade independenciacondicional dadoovalordopar ametrosdomodelo.CEMEQ - Centro de Metodos Quantitativos2.9. UMANOTASOBRETESTESDEHIPOTESE 242.8.1 TeoremadaRepresentacaode De Finetti paraQuantidadesAleatorias0-1SeX1, X2, . . ., eumaseq uenciainnitapermut avel dequantidades aleat orias 0 1commedida de probabilidade P, existe uma fun cao distribuic ao Q tal que a funcao de probabilidadeconjuntap (x1, . . . , xn)paraX1, . . . , Xntemaforma,p (x1, . . . , xn) =_10n

i=1xi(1 )1xidQ() (2.30)emqueQ() =limnP_ynn _comyn=n

i=1Xie =limnynn(demonstrac ao: verBernardoeSmith,1995).Umainterpretac aosubjetivistaparaesseresultado:(a) Os Xis ao julgados como vari aveis aleat orias de Bernoulli independentes condicional emumaquantidadealeatoria;(b)Aquantidadealeat oriatemumadistribuic aodeprobabilidadeQ;(c)Pelalei fortedosgrandesn umeros, =limn_ynn_, tal queQpodeserinterpretadacomoa crencasobreafreq uenciarelativalimitedosresultadosyi= 1.(d) Condicional naquantidadealeat oria, X1, . . . , Xneumaamostraaleat oriadeumadistribuic aodeBernoullicomparametrogerandoumadistribui caoamostralconjuntap (x1, . . . , xn | ) =n

i=1p (xi | ) (2.31)=n

i=1xi(1 )1xiemqueopar ametrotemumadistribui caoaprioriQ().Considerado como uma func ao de , a distribui cao amostral conjunta e denominada func aodeverossimilhanca.2.9 UmanotasobreTestesdeHip oteseNapr atica, umestatsticoBayesianon aoconsideratestes de hipoteses, mas determinadensidadesaposterioriparapar ametrosdeinteresse,porexemplo,12ou12. ApesardissopodemossugerirumtestedehipotesessoboenfoqueBayesiano.Exemplo2.3 :AssumirqueY sejaumavari avelaleat oriacomdensidadef (y | )esuporotestedehip otesesH0: =0versusH1: =1emque0e1s aovaloresespecicados.Suporquebaseadonumaamostraaleat oriadetamanhon,y = (y1, . . . , yn)temosaestatsticaT= T (y1, . . . , yn)apropriadacomumadadadistribuic aodeprobabilidadeamostral.Pelaf ormuladeBayestemos,P (H0 | T) =P (T | H0) P (H0)P (T | H0) P (H0) +P (T | H1) P (H1)emqueP (H0)eP (H1)s aoprobabilidadesaprioriparaH0eH1.Tambem,P (H1 | T) =P (T | H1) P (H1)P (T | H0) P (H0) +P (T | H1) P (H1)CEMEQ - Centro de Metodos Quantitativos2.9. UMANOTASOBRETESTESDEHIPOTESE 25ObservarqueP (H0 | T) +P (H1 | T) = 1.Portanto,P (H0 | T)P (H1 | T)=_P (H0)P (H1)_ _P (T | H0)P (T | H1)_(2.32)De(2.32)observarquearazaodasprobabilidadesaposteriori umfavordeH0eigual aoprodutodaraz aoaprioripelaraz aodeverossimilhancas.Assim,(i)SeP (H0 | T) > P (H1 | T)aceitarH0;(ii)SeP (H0 | T) < P (H1 | T)rejeitarH0.Observarqueesseprocedimentopodeseraplicadocomvariaship otesespossveis. Ent aoacharahipotesecommaiorprobabilidadeaposteriori.Exemplo2.4:SuporqueY sejaumavari avelaleatoriacomdistribuicaonormalN (; 1).ConsiderarashipotesesH0: = 0versusH1: = 1. AssumiraprioriqueP (H0) = P (H1) =0, 5.ObservarqueT= y(estatsticasucientepara), yN_;1n_,isto e,P (T | H0) =n2exp_n2 y2_eP (T | H1) =n2exp_n2( y 1)2_Assim,P (H0 | T)P (H1 | T)=exp_n2 y2_exp_n2 ( y 1)2= exp_n2_ y2( y 1)2_Isto e,P (H0 | T)P (H1 | T)= exp_n2(2 y 1)_Comoilustrac aonumericasuporn = 10e y= 2(dosdados). Portanto,P (H0 | T)P (H1 | T)= exp_n2(2 y 1)_= 3, 1 107Como esse valor e muito pequeno conclumos que devemos rejeitar H0 em favor de H1: = 1.2.9.1 HipotesesimplescontraalternativacompostaSuporqueH0sejaumahipotesesimplesequeH1sejaumahipotesecomposta. Suporquesejaopar ametrodeinteresseequeT= T (y1, . . . , yn)sejaaestatsticadoteste.ArazaodaposteriorideH0comparadacomaposteriorideH1edadapor,P (H0 | T)P (H1 | T)=P (T | H0) P (H0)P (T | H1) P (H1)(2.33)=P (H0) P (T | H0, 0)P (H1)_P (T | H1, ) () d(2.34)emque () eadensidadeaprioriparasobH1.CEMEQ - Centro de Metodos Quantitativos2.9. UMANOTASOBRETESTESDEHIPOTESE 26Observarquecommaisdeumpar ametrodevemosintegrarospar ametrosadicionais.Exemplo2.5 :Suporqueavari avelaleatoriaY tenhaumadistribuicaonormalN (; 1)eassumirotestedehipotesesH0: =0versusH1: =0. Tambemsuporqueselecionamosumaamostraaleatoriadetamanho10com y= 2(dosdadosobservados).ObservarqueT= yeumaestatsticasucientepara. AssumirP (H0)=P (H1)=0, 5.Observarque y | N_;1n_.Portanto,P (T | H0, = 0) =_n2_12exp_n2 y2_eP (T | H1, ) =_n2_12exp_n2( y )2_AssumirumapriorinormalN (1, 1)parasobH1,isto e, () =12exp_12 ( 1)2_De(2.33)temos:P (H0 | T)P (H1 | T)=_n2_12exp_n2 y2___n2_12_12_12exp_n2 ( y )212 ( 1)2d=(2)12exp_n2 y2__ exp_[(1)2+n( y)2]2_dDesenvolvendoodenominadortemos:_exp__( 1)2+n( y)22_d = exp_12 (n y + 1) +(n y + 1)2 (n + 1)__exp_12 (n + 1)1_ n y + 1n + 1_2_dComo_exp_12 (n + 1)1_ n y + 1n + 1_2_d =_2n + 1_12temos:P (H0 | T)P (H1 | T)=_n2_12exp_n2 y2_(2)12_n2_12_2n+1_12exp_12n y + 1 +(n y+1)22(n+1)_=(n + 1)12exp_n2 y2_exp_n y2212+12(n y+1)2(n+1)_= (n + 1)12exp_12_(n y + 1)2(n + 1)1__CEMEQ - Centro de Metodos Quantitativos2.10. EXERCICIOS 27Comn = 10e y= 2temos:P (H0 | T)P (H1 | T)= 1, 1 108AssimdevemosrejeitarH0: = 0emfavordeH1: = 0.2.10 Exerccios(1)Sejay= (y1, . . . , yn)representandoumaamostraaleatoriadadistribui caoexponencialcomdensidadef (y | )=exp (y) , y>0, y>0. Considerarumadistribuic aoaprioriconjugadapara. Achar:(a)Adensidadeaposterioripara.(b)Umaproxima caonormalparaadensidadeaposterioripara.(c)Adensidadepreditivaparaumaobserva caofuturayn+1.(d)Acharamodadadistribuic aopreditivaparaumaobservacaofuturadeyn+1.(2) Sejay=(y1, . . . , yn) representandoumaamostraaleat oriadadistribui caouniformecomdensidadef (y | )=1/,0 0ea > 0(aconhecido).(a)Acharadensidadeaposterioripara.(b)Acharadensidadepreditivaparaumaobservac aofuturayn+1.(3)Considerarumadistribuic aoGaussianainversaIG(, )comdensidade, f (y | , )=_2y3_12exp_22y (y )2_, y> 0; > 0 e > 0. Observar que E (y) = e var (y) = 3/.Assumir uma amostra aleatoria y = (y1, . . . , yn) e uma priori n ao informativa conjunta paraedadapor (, ) 1, > 0, > 0Achar:(a)Adensidadeaposterioriconjuntaparae. Tambemacharadensidadeaposteriorimarginalpara.(b) Considerar duas amostras independentes com distribuic oes Gaussianas inversas IG(1, 1)e IG(2, 2) com 1 e 2 conhecidos. Achar a densidade a posteriori marginal para 1/2 (raz aodemedias).(c)Acharadensidadepreditivaparaumaobservac aofuturayn+1dadoy1, . . . , yn.CEMEQ - Centro de Metodos QuantitativosCaptulo3DistribuicoesaPrioriUmadistribui caoaprioriparaumpar ametropodeserelicitadadev ariasformas:(a)Podemosassumirdistribuic oesaprioridenidasnodomniodevariac aodopar ametrodeinteresse. Comocasoparticular,poderamosconsiderarumadistribuicaoaprioriBetaqueedenidanointervalo(0, 1)paraproporcoesquetambems aodenidasnointervalo(0, 1)ouconsiderarumapriorinormalparaparametrosdenidosemtodareta;(b)Podemosconstruirumaprioribaseadaeminformac oesdeumoumaisespecialistas;(c)Podemosconsiderarmetodosestruturaisdeelicitac aodedistribui coesapriori(verporexemplo,Paulinoetal,2002);(d) Podemos considerar distribuic oes a priori n ao-informativas quando temos total ignor an-ciasobrepar ametrosdeinteresse;(e)PodemosusarmetodosBayesianosempricosemdadosouexperimentospreviosparaconstruirapriorideinteresse.Algunscasosespeciaissaodadosaseguir:3.1 MetodoEstruturaldeElicitacaoMetodoestrutural equalquer metododeelicitac aodadistribuicaoapriori paraumpa-rametrobaseadosemquestoesrelacionadasdiretamentecomoparametro(Kadane, 1980).Comoumcasoespecial assumirquepodeassumirumentreosvalores1, . . . , k; apartirdainformacaodeumespecialistapodemosatribuirasprobabilidadesaprioriparacadavalorpossvel.MetododoHistograma: Considerar umapartic aodoespacoparametricoemkin-tervalos, istoe, =k

i=1ieconsultarumespecialistaparaatribuirprobabilidadesparacadaintervaloi. Ent ao,construirumhistogramacomessasprobabilidades.Exemplo 3.1: Seja um par ametro representando a proporc ao de componentes deetuososemumequipamentohospitalar.Supor que atribumos amodadadistribuic aocomoigual aM=0, 1. Assim, dividirointervalo [0, 1] emk =6 subintervalos: Q1=_0,M2, Q2=_M2 ,3M4, Q3=_3M4, M,Q4=_M,3M+14, Q5=_3M+14,M+16eQ6=_M+16, 1. Da, solicitar aumespecialistaasprobabilidadespiparacadaintervalo,i = 1, . . . , 6comoumexemplo(vertabela3.1),conside-rar:Apartirdosresultadosdatabela3.1, ajustarumadistribuicaoBeta(a, b)coma=2, 4eb = 13, 6quemelhorseajustaaesseshistograma.Assim,consideraraprioriBeta (2, 4; 13, 6).283.2. METODOPREDITIVODEELICITA CAO 29Tabela3.1: Distribui caoaprioriparapi.Qipi[0; 0, 05] 0, 096(0, 05; 0, 075] 0, 108(0, 075; 0, 1] 0, 1233(0, 1; 0, 325] 0, 6308(0, 325; 0, 55] 0, 0415(0, 55; 1] 0, 00043.2 MetodoPreditivodeElicitacaoNapr atica, umespecialistapodeacharmaissimplesfornecerinforma caonasobservac oesdoqueempar ametros(ousumariosouestatsticasdessasobservacoes).Assumirquef (y | )eomodeloformuladopeloestatstico. Solicitarainformac aodeumespecialistasobreumaestatsticaTcomdistribuic aopT (t).SejafT (t | )adistribuic aodessaestatsticabaseadanomodeloestatsticoelaboradopeloestatstico.Se h() e a distribuic ao a priori desconhecida, ent ao pT (t) e h() est ao relacionadas a partirdarelacao,pT (t) =_fT (t | ) h() d (3.1)Da, escolherh()tal queaintegral acimaleveaumaboaaproxima caoparapT (t)(nemsempre eumproblemasimples).Uma simplicacao possvel e escolher uma famlia de distribuicao a priori h() e da escolherosvaloresdoshiperpar ametrosquemelhorseaproximedepT (t).Exemplo3.2: Suporoparametrodeumadistribuic aobinomial; assumirqueadistri-buic ao a priori seja uma distribuicao Beta(a, b); a seguir, o estatstico solicita a um especialistaadistribuic aoparaon umerodesucessosTemumaamostraimagin ariadedimensaom. Adistribuic aomarginal(preditiva)paraTedadapor,pT (t) =_10_mt_t(1 )mt1B(a, b)a1(1 )b1d (3.2)=_mt_B(a +t, mt +b)B(a, b)parat = 0, 1, 2, . . . , meB(a, b) =(a)(b)(a+b)eafunc aoBeta.Ent ao, achar os hiperpar ametros a e b. Winkler (1980) sugere pedir ao especialista elicitac aodaprobabilidadedeseobservarumsucesso(T= 1)naseguintessituac oes:(i)m = 1(ii)m = 2Suporqueelerespondep1ep2,respectivamente. De(3.2),temos:p1=aa +b; (m = 1) (3.3)p2=2ab(a +b) (a +b + 1); (m = 2)CEMEQ - Centro de Metodos Quantitativos3.3. DISTRIBUI COESAPRIORINAO-INFORMATIVAS 30Assim,resolverosistemaem(3.3)paraacharosvaloresdeaeb.3.3 Distribuic oesaPrioriNao-informativasOusodedistribui coesapriorin ao-informativastemv ariosobjetivos:(a) Deduzir crencas a posteriori para quem parte de um conhecimento escasso, isto e, quandoosdadosfornecemgrandepartedainformac aosobreopar ametro(ignoranciaapriori).(b) Permitir acomparac aocomosresultadosobtidosdainferenciaclassicaques ousaainformacaoamostral.(c) Averiguar ainuenciadeumapriori subjetivaquandocomparadacomos resultadosobtidosusandoumapriorinao-informativa.MetododeBayes-Laplace: Assumirqueoparametrosejadiscretotomandokvalores1, . . . , k. Umapriorin ao-informativaparaedadapeladistribuic aouniformediscreta, (i) =1k(3.4)emquei = 1, 2, . . . , k.Observarquequandoecontnuo, ousodedistribuic oesapriori uniformesparapodelevaradistribuic oesapriorin ao-uniformesparatransformacoes= ()de. Nestecaso,se () eumadistribuicaoaprioripara,ent ao, () = [ ()]dd(3.5)Observarque ()n ao enecessariamenteuniforme.Exemplo3.3: Sejaopar ametrodeumadistribuic aodeBernoulli, 00. Assumir umaamostraaleat oriade tamanhondadapory = (y1, . . . , yn).CEMEQ - Centro de Metodos Quantitativos3.3. DISTRIBUI COESAPRIORINAO-INFORMATIVAS 33Afuncaodeverossimilhancapara edadapor,L() =n

i=1exp (yi) (3.25)Isto e,L() = nexp_n

i=1yi_(3.26)ObservarqueE (Y ) =1.Ologaritmodafun c aodeverossimilhan capara edadopor,l () = nlog n y (3.27)Aprimeiraesegundaderivadadel ()s aodadas,respectivamente,pordld=n n y (3.28)d2ld2= n2AinformacaodeFisher edadapor,I () = E_d2ld2_=n2(3.29)Portanto,apriorideJereyspara edadapor, () 1(3.30)Combinando-se (3.26) com (3.30), encontramos a distribuicao a posteriori para dada por, ( | y) n1exp (n y) (3.31)Isto e, | yGama (n; n y) (3.32)ObservarqueoestimadordeBayesparacomrespeitoafun caodeperdaquadraticaedadopor, = E ( | y) =nn y=1 y(3.33)Nestecaso,oestimadordeBayescoincidecomestimadordemaximaverossimilhancapara.Caso Multiparametrico: De forma similar ao caso uniparametrico (ver Box e Tiao, 1973),determinamosapriorideJereysparaumvetordeparametros = (1, . . . , k)

.Ologaritmodafunc aodeverossimilhancaparaumvetor = (1, . . . , k)

podeseraproxi-madoporumaseriedeTaylornavizinhancadoEMVnaforma,l () = log L() =l__n2_ _

D_ _(3.34)CEMEQ - Centro de Metodos Quantitativos3.3. DISTRIBUI COESAPRIORINAO-INFORMATIVAS 34emqueD=_1n2lij_(3.35)parai,j= 1, 2, . . . , k. ObservarqueDeumamatrizk k.Parangrande,D =1nnIn__,emqueIn__eamatrizdeinforma caodeFisher,In__=_E_2lij__(3.36)Considerarumatransformac ao()talqueIn ()sejaumamatrizdeconstantesindepe-dentesdetalqueafuncaodeverossimilhancas omudaemlocac ao. Isto e,I () = AIn () A

(3.37)emqueA =_ (1, . . . k) (1, . . . k)_Portanto,|In ()| = |A|2|In ()| (3.38)emque ||denotadeterminante. Ent aoconsiderar|A| = (1, . . . k) (1, . . . k) |In ()|12(3.39)emqueconclui-sequeapriorideJereys edadapor, () |In ()|12(3.40)Amatrizdeinformac aodeFisherdadapor,I () =___________E_2ln f(y)21_E_2ln f(y)12_. . . E_2ln f(y)1k_E_2ln f(y)22_. . . E_2ln f(y)2k_. .. .. .E_2ln f(y)2k____________(3.41)Exemplo3.7: Sejay=(y1, . . . , yn) umaa. a. detamanhondadistribuic aonormalN (; 2). Aqui, = (, 2)

.Afuncaodeverossimilhancapara = (, 2) edadapor,L() = f (y | ) _2_n2exp_122n

i=1(yi)2_(3.42)Ologaritmol ()dafunc aodeverossimilhancaL() edadapor,l () = ln L() n2ln_2_122n

i=1(yi)2(3.43)CEMEQ - Centro de Metodos Quantitativos3.3. DISTRIBUI COESAPRIORINAO-INFORMATIVAS 35Assegundasderivadasdel ()comrespeito`ae2s aodadaspor,2l2= 12n (3.44)2l (2)2=n2 (2)2 22 (2)3n

i=1(yi)22l (2)= 1(2)2n

i=1(yi)ComoE (Yi) = eE (Yi)2= 2,observamosqueE_2l2_=n2,E_2l(2)2_=n24eE_2l(2)_= 0.Portanto,ainforma caodeFisher edadapor,I_, 2_=_n200n24_(3.45)ApriorideJereys(ver3.40) edadapor,_, 2_13(3.46)para < < e2> 0.Adistribuic aoaposterioriconjuntaparae2edadapor,_, 2 y__2_(n+3)2exp_122n

i=1(yi)2_MetododaEntropiaMaxima: Suporinicialmentequesejaumpar ametrodiscretocomfunc aodeprobabilidadeh(). Aentropiaedenidacomoovaloresperadode ln h(),dadapor,E [h()] =

iln [h(i)] h(i) (3.47)Da,usaresseconceitoparaencontrarumadistribuic aoapriorinao-informativa.Exemplo3.8: Supor queopar ametro assumeumn umeronitodevalores distintos1, . . . , k,comprobabilidadeP ( = i) = pi> 0,i = 1, . . . , k.Dessa forma, usar o metodo de entropia maxima para achar pi, i = 1, . . . , kcom a restric ao

ki=1pi= 1quemaximizeE [h()] =

ki=1pi ln pi.IntroduzindomultiplicadoresdeLagrange,devemosmaximizar,E [h()] = k

i=1pi ln pi +_k

i=1pi1_(3.48)DeE[h()]pi= 0,i = 1, . . . , ktemososistemadeequa coes,ln pi1 + = 0 (3.49)para i = 1, . . . , k, isto e, ln pi= 1 para todo i = 1, . . . , k, o que leva pia ser contante. Assimpi=1k,i = 1, . . . , keumapriorinao-informativaquemaximizaaentropia.Outrapossibilidade eassumirumaignoranciaparcial(en aototal)ondeseconhecealgunsCEMEQ - Centro de Metodos Quantitativos3.4. EXERCICIOS 36momentos dadistribuic ao. Comoumcasoespecial, assumir novamente discretotal queconhecemosparamfuncoesgj () ,j= 1, . . . , mosseusmomentosE [gj ()] = j.Comaintroduc aodemultiplicadoresdeLagrangedevemosmaximizarE [h()]dadopor,E [h()] =

ipi ln pi +_

ipi1_+m

j=1j_

igj (i) pij_(3.50)Nocasocontnuoaentropiadeumadistribui caoh() edenidapor,E [h()] = _h() ln h() d (3.51)Nota: Outrosmetodosparaobtencaodedistribuic oesapriorin ao-informativassaointro-duzidosnaliteratura. Bernardo(1979)introduzaprioridereferenciaexplorandoamedidadedivergenciadeKullback-Leibler(verBernardoeSmith,1995).3.4 Exerccios(1)SejaX = (X1, . . . , Xn)umaamostraaleatoriadeumadistribuic aonormalN (, 2).(a)Assumindoconhecido,acharumapriorin ao-informativadeJereyspara.(b)Assumindoconhecido,acharumapriorinao-informativadeJereyspara.(c)Comedesconhecidos,acharapriorideJereysparae.(2)SejaTumavari avelaleatoriarepresentandootempodevidadeumcomponente,comdistribuic aoexponencialcomdensidade,f (t | i) = i exp (it) , t > 0; i 0emquei=1i,i= E (T | i)eomodelodepotenciainversai=Vi,i = 1, . . . , kusadoemtestesaceleradosindustriais(Viexo) .Considere k = 2 e os dados de um teste acelerado com dois nveis para a vari avel stressVi:i Vinitji; i = 1, 2; j= 1, . . . , ni1 10 5 6, 8, 10, 12, 142 20 8 4, 5, 5, 6, 8, 8, 9, 14(a)Escreverafuncaodeverossimilhancaparae;(b)Acharumapriorin ao-informativaparaeusandoaregradeJereys;(c)Acharaposterioriconjuntaparae;(d)Acharaposteriorimarginalpara.(3)Considerarumavari avelaleat oriaY comdensidadeGaussianainversacompar ametroseedensidade,f (y | , ) =_21y3_12exp_12y1_y11_2_emquey> 0; > 0; > 0,E (y) = evar (y) =3 .(a)Assumindoumaamostraaleat oriadetamanhon(y1, . . . , yn)acharumadensidadeapriorin aoinformativaconjuntaparaeusandoaregradeJereys;CEMEQ - Centro de Metodos Quantitativos3.4. EXERCICIOS 37(b)Acharadistribuic aoaposterioriconjuntaparaeusandoaprioriobtidoem(a) ;(c)Acharadensidadeaposteriorimarginalpara;(d) Assumindoconhecido, achar umapriori nao-informativaparausandoaregradeJereys.CEMEQ - Centro de Metodos QuantitativosCaptulo4Aproximac oesNumericaseMetodosdeMonteCarloNaobten caodesumariosaposteriorideinteresse,geralmenteprecisamosresolverintegraisBayesianasquenaoapresentamsoluc aoanaltica. Istoecomumquandotemosumvetordepar ametros.V ariasalternativassaointroduzidasnaliteraturapararesolveressasintegraisBayesianas.Aseguir,apresentaremosalgunscasosespeciais.4.1 AproximacaodeLaplaceSuporqueestamosinteressadosemacharmomentosaposterioridaforma,E [g () | y] =_g () ( | y) d (4.1)emqueg () eumafunc aodeinteresse.Comoadistribuic aoaposterioriparaedadapor, ( | y) =f (y | ) ()_f (y | ) () d(4.2)emquef (y | )eafunc aodeverossimilhan caparae ()eumapriori para, podemosescrever(4.1)naforma:E [g () | y] =_g () f (y | ) () d_f (y | ) () d(4.3)emque = (1, . . . , k)

ey = (y1, . . . , yn)

eovetordedados.Suporg ()umafunc aopositiva. Assimpodemosreescrever(4.3)por,E [g () | y] =_exp [nh ()] d_exp [nh()] d(4.4)emque nh() = ln () + ln f (y | )e nh () = ln g () + ln () + ln f (y | ).CasoUniparametrico: Sejaunidimensional ( R)emquemaximiza h()emaximiza h (). Denir =_h

___12e =_h

___12(h

(.)easegundaderivadadeh(.)).384.1. APROXIMA CAODELAPLACE 39AsaproximacoesdeLaplaceparaasintegraisnonumeradoredenominadorde(4.4)saodadasrespectivamentepor,_exp [nh ()] d =2 n12exp_nh___(4.5)_exp [nh()] d =2 n12exp_nh___Observequeasaproximac oesdeLaplaces aoaproximacoesnormaisparaosintegrandos.Assim,obtem-seaaproximac ao

E [g () | y] =_ _exp_n_h__h____(4.6)TierneyeKadane(1986)mostramqueaaproxima cao(4.6) ebemprecisaesatisfaz,E [g () | y] = E [g () | y] 1 +o__n2_(4.7)em que o [(n2)] e a ordem do erro de aproxima cao (observar que an= (bn) seanbn0 quandon ).CasoMultiparametrico: Seja=(1, . . . , k)_ Rk_. Nestecasoaaproximac aodeLaplace edadapor,_exp [nh()] =(2)k2n 2h__12exp_nh___(4.8)emquemaximiza h()e2h__ij=_2h()ij|=_eamatrizhessianadeHcalculadaem.Escrevendo =n 2h__12e =n 2h__12,emquemazimiza h()emaximiza h(),encontramosaaproximacaodeLaplace,

E [g () | y] =_ _exp_n_h__h____(4.9)Podemosusaraaproxima caodeLaplaceparacalcularmomentosaposteriorideinteresse,densidadespreditivasedensidadesaposteriori marginaisdeinteresse(verTierneyeKadane,1986).Exemplo4.1: SejaY umavari avelaleat oriacomdistribuic aobinomialb (n, )eassumirumadistribui caoaprioriBeta_12,12_paraopar ametro. Adistribuic aoaposterioriparaedadapeladistribuic aoBeta_y +12, n y +12_.Neste caso, observamos que a media a posteriori para e dada (forma exata) por E ( | y) =(y+12)(n+1) . Comoilustracaonumerica,vamosconsideraraaproximac aodeLaplaceparaamediaaposterioripara. Observarque(ver4.4),E ( | y) =_10y+12(1 )ny12d_10y12(1 )ny12d(4.10)CEMEQ - Centro de Metodos Quantitativos4.1. APROXIMA CAODELAPLACE 40Consideraraaproximac aodeLaplaceparaaintegral,_10a(1 )bd =_10exp [nh()] d (4.11)emque nh() =a ln + b ln (1 ). Omaximode h() edado(de h

() =0) por=a(a+b). Asegundaderivadade nh()calculadaemedadapor nh

() = (a+b)3ab,istoe, =_h

___12=n(ab)12(a+b)32. Tambemexp_nh___=aabb(a+b)a+b.Dessaforma,aaproxima caodeLaplacepara(4.11) edada(ver(4.5))por,_10a(1 )bd =2aa+12bb+12(a +b)a+b+32(4.12)Com a = y +12, b = ny 12(numerador de (4.10)) e a = y 12, b = ny 12(denominadorde4.10),encontramosE ( | y) =(n 1)n+12_y +12_y+1nn+32_y 12_ (4.13)Nota: AaproximacaodeLaplaceparaintegraisn aoeinvariante`areparametrizacoes(verAchcareSmith,1989).Exemplo 4.2: Considerar arazaodas medias de duas distribuicoes exponenciais commediase,respectivamente. Sejay11, . . . , y1numaa. a. detamanhondeumadistribuic aoexponencial commediaesejay21, . . . , y2numaa. a. detamanhondeumadistribuic aoexponencialcommedia. Assumirindependenciaentreasduasamostras.Afuncaodeverossimilhancaparae edadapor,L(, ) ()nexp_n y11n y21_(4.14)emquen y1=

ni=1y1ien y2=

ni=1y2i.Adistribuic aoapriorideJereysparae edadapor, (, ) 1(4.15)emque > 0e > 0.Arazaodasmedias edadapor=. Amediaaposterioriparaedadapor,E_ | y_=_ _n(n+2)exp_n y1n y2_dd_ _(n+1)(n+1)exp_n y1n y2_dd(4.16)Consideraraaproximac aodeLaplaceparaaintegral,_ _abexp_n y1n y2_dd =_ _exp [nh(, )] (4.17)emque nh(, ) = a ln b ln n y1n y2.Om aximode h(, )edadopor=n y1ae=n y2b. Tambem n2h2|(,)=a3(n y1)2;CEMEQ - Centro de Metodos Quantitativos4.2. METODODEMONTECARLOORDINARIO 41n2h2|(,)=b3(n y2)2e n2h |(,)= 0. Portantoamatrizhessiana(ver4.8) edadapor,n2h_,_=_a3(n y1)200b3(n y2)2_(4.18)isto e,_det_n2h_,___12=(n y1)(n y2)a32 b32. Tambem, exp_nh_,__=aabb(n y1)a(n y2)b exp (a b).Assimaaproximac aodeLaplace(ver4.8)para(4.17) edadapor,_ _abexp_n y1n y2_dd =2aa32bb32 exp [(a +b)]na+b2 ya11 yb12(4.19)Dessaforma,usando(4.19)nonumeradoredenominadorde(4.16)encontramos,

E_ | y_ =nn32 (n + 2)n+12(n + 1)2n1_ y1 y2_(4.20)Observarqueoresultadoexatoparaessecaso edadopor,E_ | y_=_nn 1_ y1 y2(4.21)4.2 MetododeMonteCarloOrdinarioSuporqueestamosinteressadosemaproximarumaintegralnaforma,E [g () | y] =_g () ( | y) d (4.22)emqueyepodemservetores.PelometododeMonteCarloordinario, simularumaamostra1, . . . , ndadistribuic aoaposteriori ( | y). Assim,(4.22) eaproximadopor,E [g () | y] =1nn

i=1g (i) (4.23)Observarquepelalei fortedosgrandesn umeros,E [g () | y] convergequasecertamenteparaE [g () | y].A precisao dessa aproxima cao pode ser medida pelo erro-padrao de Monte Carlo, dado por,1_n(n 1)___n

i=1_g (i) 1nn

i=1g (i)_2___12(4.24)Intervalos de credibilidade para podemser obtidos usandoometodode Monte Carloordin ario. Ordenaraamostrasimuladade ( | y):(1) 0, > 0(d)Amediaaposterioriparaedadapor:E ( | y) =_0_0n(2n+1)exp_n1( y1 + y2)dd_0_0n1(2n+1)exp_n1( y1 + y2)ddAproximacaodeLaplace:_0_0abexp_n1( y1 + y2)dd (2) aa+12 (b a)ba52exp (b)nb32 yba21 ya+12ent ao:

E ( | y) nn+12 (n + 1)n32(n 1)n12(n + 2)n12_ y1 y2_IlustracaoNumerica:n = 10; y1= 4; y1= 2(a)Exato:E_ | y_=_nn 1__ y1 y2_= 2, 2222(b)Laplacenaparametrizac aoe :

E_ | y_

nn32 (n + 2)n+12(n + 1)2n1_ y1 y2_= 2, 21805(c)Laplacenaparametrizac ao=e:

E ( | y) nn+12 (n + 1)n32(n 1)n12(n + 2)n12_ y1 y2_= 2, 16442Conclusao: Melhoraproximacaonaparametrizac aoe.4.5 Exerccios(1)Sejay1, . . . , yn umaamostraaleatoriadetamanhondeumadistribuic aoexponencialcommedia_f (y | ) 1exp_y_. Assumirn = 30e y= 12,econsiderarumapriorideJereyspara.(a)Acharaaproximac aodeLaplaceparaE ( | y)evar ( | y);(b)Acharaaproximac aodeLaplaceparaaconabilidadeemy= 10;(c)DeterminarosvaloresexatosdeE ( | y)evar ( | y).Compararcomasaproximacoesobtidasem(a);(d)Consideraraparametrizac ao = ln (). Qual eapriorideJereyspara?(e)Acharasaproximac oesdeLaplaceparaE ( | y)evar ( | y)naparametrizac ao=ln ()ou = exp ();Compararosresultadosexatosobtidosem(c);(f)Conclus oes.CEMEQ - Centro de Metodos Quantitativos4.5. EXERCICIOS 48(2)Sejay1, . . . , ynumaa. a. detamanhondeumadistribuic aodePoissoncomparametro.(a) Considerar umadistribuicaoapriori de Jereys para. Calcular aproximac oes deLaplaceparaE (a| y) ;(n = 5, y= 10)paraa = 1, 2, 3, 5e10;(b) Considerar aparametrizac ao=12. Qual e apriori de Jereys para? Napa-rametrizac aoacharaproximac oesdeLaplaceparaE (a| y) , a=1, 2, 3, 5e10_ = 2_.Conclus oes?(3)SejaTumavari avelaleat oriarepresentandootempodevidadeumcomponente,comdistribuic aoexponencialdomdensidade,f (t | i) = i exp (it) , t > 0; i 0emquei=1i,i= E (T | i)eomodelodepotenciainversai=Vi,i = 1, . . . , kusadoemtestesaceleradosindustriais(Viexo) .Considere k = 2 e os dados de um teste acelerado com dois nveis para a variavel stress Vi:i Vinitji; i = 1, 2, ; j= 1, . . . , ni1 10 5 6, 8, 10, 12, 142 20 8 4, 5, 5, 6, 8, 8, 9, 14AssumirumapriorideJereysparae.(a)Acharaaproximac aodeLaplaceparaE ( | D)eE ( | D);(b)AcharE (1 | )(Tempodevidasobnvelusualdestress)usandometododeLaplace;(c)Achar ( | D)e ( | D). (Distribui coesMarginais).CEMEQ - Centro de Metodos QuantitativosCaptulo5MetodosdeMonteCarloemCadeiasdeMarkovSupor que temos interesse em gerar uma amostra de uma distribuic ao a posteriori ( | y), Rkmasn aopodemosfazerissodiretamente. Entretanto, suporquepodemosconstruirumacadeiadeMarkovcomespa codeestadosnoespacoparametrico(conjuntodetodosvalores possveis de ) que e simples para simular e cuja distribuic ao de equilbrio seja dada por ( | y). Setemosmuitassimulac oesdessacadeia,osvaloressimuladosdacadeiapodemserusadoscomoumabaseparasumarizarcaractersticasdaposteriori ( | y).Resultado: (Besag, 1994). Seadistribuic aoconjuntaaposteriori ( | y)forpositivaem12 k, comisendosuporteparaadistribuic aodei, i =1, . . . , k, ent aoadistribuicaoaposteriori ( | y)eunicamentedeterminadapelasdistribuicoescondicionaiscompletas_i| y, (i)_parai=1, . . . , kemque=(1, . . . , k)e(i)eovetordetodososcomponentesdeexcetoi,isto e,(i)= (1, . . . , i1, i+1, . . . , k).Sob algumas condic oes de regularidade e f acil ver que os resultados simulados da cadeia comdistribuic ao de equilbrio ( | y) podem ser supostos com uma amostra aleat oria de ( | y).Se(1), (2), . . . , (t), . . . eumarealizac aodeumacadeia,temos,(t)D ( | y) (5.1)emqueosmbolo D signicaconvergenciaemdistribuicao.Damesmaformaparaestimarovaloresperadodeg ()comrespeito`a ( | y),isto e,E [g ( | y)] =_g () ( | y) d (5.2)observamosque1tt

i=1g_(i)_q.c.E [g ( | y)] (5.3)(q.c.: convergenciaquasecerta).Napratica, (i)podeestarcorrelacionado, maspoderamosconsiderarespacosadequadosentreos(i)geradosparagarantirumaamostraaleatoriade ( | y).5.1 OAmostradordeGibbsSuporqueestamosinteressadosemobterinferenciasdadistribui caoaposterioriconjunta, ( | y), =(1, . . . , k). Para isso simulamos quantidades aleatorias de distribuic oes condici-495.1. OAMOSTRADORDEGIBBS 50onaiscompletas_i| y, (i)_queproduzemumacadeiadeMarkov.Observar que _i| y, (i)_s ao facilmente identicadas como func oes de ipor inspe cao daformade ( | y)adistribuic aoaposteriori paradadoy. (verporexemplo, Gamermam,1997).Supor queatribumos umconjuntoarbitr ariodevalores iniciais (0)1, (0)2, . . . , (0)kparaovetordeparametros.Da,escrevemosoalgoritmo:(i) Gerar(1)1de_1 | y, (0)2, . . . , (0)k_; (5.4)(ii) Gerar(1)2de_2 | y, (1)1, (0)3, . . . , (0)k_;(iii) Gerar(1)3de_3 | y, (1)1, (1)2, (0)4, . . . , (0)k_;...(k) Gerar(1)kde_k | y, (1)1, (1)2, . . . , (1)k1_Ent ao,substituirosvaloresiniciaiscomumanovarealizacao(1)=_(1)1, (1)2, . . . , (1)k_deerepetiroprocessoacima.Para t sucientemente grande, observar que o valor (t)1, (t)2, . . . , (t)kconverge para um valordaquantidadealeatoriacomdistribuic ao ( | y)(verGemaneGeman, 1984). Alemdisso,(t)jpodeserconsideradocomoumaobserva caosimuladadadistribui caoaposteriorimarginal (j| y),j= 1, 2, . . . , k.ReplicandooprocessoacimaBvezesobtemosBvetores(t)1g, (t)2g, . . . , (t)kg; g= 1, 2, . . . , B.Daconvergenciado amostradordeGibbs,qualquer caractersticada densidadeaposteriorimarginal (j| y)podeserobtida.Emparticular,se_j| (j), y_edadaemformafechada,ent ao

(j| y) =1BB

g=1_j| g(j), y_(5.5)emquej= 1, . . . , k.Nota: Observarque (j| y) =__j| (j), y__(j)| y_d(j)Assim,gerar(1)(s), . . . , (g)(s), . . . , (B)(s)de_(s)| y_.Paravericaraconvergenciadoalgoritmo, podemosconsiderarvariastecnicas. GelfandeSmith (1990) sugerem o uso de tecnicas gracas; dessa forma considerar v arias cadeias paralelasgeradasapartirdevaloresiniciaisdiferentes. Ap osumgranden umerodeinteracoesemcadacadeia, comparar os histogramas para cada componente jde . Histogramas similares, indicamconvergenciadacadeia.Geweke(1992)sugeremetodosgr acosbaseadosemseriestemporaisdasamostrasselecio-nadas.UmatecnicaparamonitoraraconvergenciadoalgoritmoepropostaporGelmaneRubinCEMEQ - Centro de Metodos Quantitativos5.1. OAMOSTRADORDEGIBBS 51(1992)baseadanaanalisedevariancia.Nota: Nagerac aodeamostrasdeGibbsdevemosconsideraraslprimeirasiterac oescomoperododeaquecimento(burn-in-samples)quedevemserdescartadasparaeliminaroefeitodevaloresiniciais.5.1.1 Metodo de Gelman e Rubin para monitorar a convergencia doalgoritmoSuporv ariospontosiniciaisdispersos. OmetodopropostoporGelmaneRubinfuncionadaseguinteforma:(a)Simularm 2seq uencias;cadaseq uenciadecomprimento2n,considerandopontosouvaloresiniciaisdiferentes. Ficarsomentecomasn ultimasiterac oesdecadaseq uencia.(b) Seja Ua quantidade de interesse que se pretende estimar (Ue uma fun cao de ). Seja UijovalordeUnaj esimaitera cao(entreasn ultimasdas2namostrasgeradas)dai esimacadeia. Calcular, ui.=1nn

j=1uij(5.6)s2i=1n 1n

j=1(uij ui.)2Observarque ui.es2is ao,respectivamente,amediaeavarianciaamostraldeUparacadaseq uenciai = 1, 2, . . . , m.(c)Calcularasseguintescomponentesdevariancia:W=1mm

i=1s2i(5.7)queeamediadasmvari anciasdentrodasseq uencias, cadaumabaseadaemn 1grausdeliberdadeeBn=1m1m

i=1( ui. u..)2(5.8)que eavarianciaentreasmediasdasmseq uencias ui.cadaumabaseadaemnvaloresdeuij.(d)EstimaramediadeUcomoumamediaamostraldetodososnmvaloressimuladosdeU,isto e, = u..=1mm

i=1 ui.(5.9)(e)EstimaravarianciadeUcomoumamediaponderadadeWeB,isto e, 2=n 1nW+1nB (5.10)Observarque 2superestima2seadistribuic aoinicial forsuperdispersaen aoeviciadasobestacionaridade.(f) Criar uma distribuicao t de Student conservativa (com poucos graus de liberdade) paraCEMEQ - Centro de Metodos Quantitativos5.1. OAMOSTRADORDEGIBBS 52Ucommedia edispersao_V=_ 2+BmnegrausdeliberdadeV=2V2var(V),emquevar_V_=_n 1n_21mvar_s2i_+_m+ 1mn_22B2m1+ (5.11)+2 (m1) (n 1)mn2nm_cov_s2i, u2i._2 u..cov_s2i, ui._Asvari anciasecovari anciass aoestimadasapartirdosmvaloresamostraisdes2i, ui.e u2i..(g)Estimarofatordereduc aodeescalapor,_R =VWVV 2(5.12)Observar queestaraz ao(dadaem5.12) decrescepara1quandon . ValoresR =1sugeremqueoperododeaquecimento esucienteeoprocessoiterativocontinua.Exemplo5.1: Considereosdadosdeconabilidadedeumnovosoftwareusadoemumequipamentodediagnosticocomputadorizadoparaserusadoemhospitais. Antesdessenovosoftware ser colocado no mercado, os analistas fazem um teste para detectar possveis erros quedevemsercorrigidosantesdosoftwaresercolocadoemuso. Dessaforma, diferentes inputss aocolocadosemtesteporumadadoperododefuncionamentocontnuodoequipamentoecadavezqueumerro edetectado,osoftware einspecionadoerefeitoparatentarcorrigiresseerro. Na tabela 5.1 temos os dados representando as datas xiem que ocorrem os erros (temposdesde o inicio da fasede testeate a ocorrencia do erro) e os temposentrefalhasti= xixi1,i = 1, . . . , n. Otesteterminaquandoobservamosumn umeropreviamentexadodeerros.Tabela5.1: Dadosdeconabilidadedeumsoftware.i tixii tixii tixi1 9 9 11 1 71 21 11 1162 12 21 12 6 77 22 33 1493 11 32 13 1 78 23 1 1504 4 36 14 9 87 24 97 2475 7 43 15 4 91 25 2 2496 2 45 16 1 92 26 1 2507 5 50 17 3 958 8 58 18 3 989 5 63 19 6 10410 7 70 20 1 105SejaNon umerototal (desconhecido) de erros nosoftware. Assumir umadistribuic aoexponencialparaostemposentrefalhasti,comdensidade,f (ti | i) = i exp (iti) (5.13)emquei = 1, 2, 3, . . . ;ti> 0eataxadefalhasiedadapor,i= (N i + 1) (5.14)Essemodelo econhecidocomomodelodeconabilidadedesoftwaredeJelinskieMorandaCEMEQ - Centro de Metodos Quantitativos5.1. OAMOSTRADORDEGIBBS 53(1972).Assumirqueotesteterminaquandoencontramosnerros,isto e,temosumaamostraalea-toriadetamanhonparaostemposentrefalhasti,i = 1, . . . , n.Aaleatoriedadeedadaapartirde inputs aleatoriosnafasedeteste. Afun caodeveros-similhancaparaeNedadapor,L(, N) = nA(N) exp [B(N)] (5.15)emqueA(N) =n

i=1(N i + 1)eB(N) =

ni=1 (N i + 1) ti. Emtermosdasestatsticasdeordemxi,podemosreescreverB(N)porB(N) =

ni=1xi + (N n) xn.Considerarasseguintesdistribui coesaprioriparaeN:Gama (a, b) (5.16)NPoisson()emquea, bes aohiperparametrosconhecidos; Gama (a, b)denotaumadistribuic aoGamacommediaabevarianciaab2ePoisson()denotaumadistribuic aodePoissoncommediaevari anciaiguais`a.Assumindo independencia a priori entre e N, a distribuicao a priori conjunta para e Nedadapor, (, N) exp () NN!a1exp (b) (5.17)Adistribuic aoaposterioriconjuntaparaeNedadapor, (, N | t) n+a1A(N) NN! (5.18)exp__b + (N n) xn +n

i=1xi__emque > 0eN= n, n + 1, n + 2, . . ..EscrevendoN

=N n, istoe, N=N

+ n, encontramosasdistribui coescondicionaisnecess ariasparaoamostradordeGibbsdadaspor:(i) | N

, tGama_a +n, b +N

xn +n

i=1xi_(5.19)(ii) N

| , tP [ exp (xn)]Paraosdadosdatabela5.1temosn = 26eX26= 250. Assumira = 0, 2;b = 20e= 30napriori (5.17)paraeN(aescolhadoshiperpar ametrosdadistribui caoapriori foi feitaapartirdemetodosBayesianosempricos;nestecasoconsideramososestimadoresdem aximaverossimilhan caparaeN).Dessaforma,asdistribuic oescondicionais(5.19)s aodadaspor:(i) | N

, tGama_26, 2; 20 + 250N

+26

i=1xi_(5.20)(ii) N

| , tP [30 exp (250)]Paraobteramostrassimuladasdadistribui caoaposteriori (5.18), geramosamostrasdasCEMEQ - Centro de Metodos Quantitativos5.1. OAMOSTRADORDEGIBBS 54distribuic oescondicionais(5.20).ConsiderandoumprogramausandoosoftwareMINITABgeramos 5cadeias deMarkovcom1000amostrascadacadeia. Cadacadeiafoigeradaapartirdosseguintesvaloresiniciaisdiferentes:_N(0), (0)_= (3; 0, 01) ,(2, 5; 0, 02) ,(3; 0, 03) ,(3, 5; 0, 01)e(3, 5; 0, 02).Emcadacadeiadescartamos as800primeiras amostrassimuladasecamos comas200 ultimas,oquetotaliza1000amostras.OcodigodoprogramaMINITABusado edadopor:Listagem5.1: ProgramaMINITAB1 SETC1 ( Xi )23 9 21 32 36 43 45 50 58 63 70 71 77 78 8745 91 92 95 98 104 105 116 149 156 247 249 25067 END89 LETK1=3 (N i n i c i a l )1011 LETK2=0,01 (Lambda i n i c i a l )1213 SUMC1 K31415 STORE a 1617 LETK4=1/(20+250k1+k3 )1819 RANDOM3 C2 ;20 GAMMA26 , 2 K4.21 LETK2=C2 ( 2)2223 LETK5=30EXPONENTIAL(250K2)2425 RANDOM3 C3 ;26 POISSONK5.27 LETK1=C3 ( 2)2829 STACKC10 K1 C103031 STACKC11 K2 C113233 END3435 EXEC a 1000Apartirde1000amostrasnais, determinamossum ariosaposteriori deinteresse. AssimE (N

| t) =5, 933 e_var (N

| t) =3, 720. TambemE ( | t) =0, 00680 e_var ( | t) =0, 00205.Com N

= N 26 temos E (N | t) = 26 +5, 933 = 31, 933. Intervalos de credibilidade 95%paraN

es aodados,respectivamente,por(0; 13)e(0, 00352; 0, 01058).Umagrandesimplicacaonaobtenc aodossumariosaposteriori deinteresseedadopelosoftwareWinBugs(Spiegelhalteretal, 1999)emques oprecisamosespecicaradistribuic aoconjuntaparaosdadoseasdistribuic oesaprioriparaosparametros.OcodigodoprogramaWinBugs edadopor:CEMEQ - Centro de Metodos Quantitativos5.1. OAMOSTRADORDEGIBBS 55Listagem5.2: ProgramaWinBugs1 model2 {3 f o r ( i i n 1: n)4 {5 t [ i ] dexp ( lambda [ i ] )6 lambda [ i ] 2.Observarquese2IG(b, d)entao =12Gama (b, d). Afunc aodeverossimilhancapara = (, 1, 2, 3, 2) edadapor:L() =n

i=1122exp_

2i22_(5.23)emquei= yi 1X1i2X2i3X3i, i = 1, 2, . . . , n(n = 8).Adistribuic aoaposterioriconjuntaparaedadapor, ( | x, y) _2_(b+1)exp_d2_exp_22a20_ (5.24)exp_212a21_exp_222a22_exp_232a23__2_n2exp_122n

i=1

2i_emquey = (y1, . . . , yn)

; xdenotaovetordascovari aveiseiedadoem(5.23).Asdistribuic oescondicionaisnecessariasparaoamostradordeGibbss aodadaspor:(i)_2| , 1, 2, 3, x, y__2_(b+n2+1)exp_12_d +12n

i=1

2i__quedeneon ucleodeumadistribui caogamainversa,isto e,2| , 1, 2, 3, x, yIG_b +n2; d +12n

i=1

2i_emque

i= yi 1x1i2x2i3x3i, i = 1, . . . , n(ii)_ | 1, 2, 3, 2, X, y_ exp_22a20_exp_122n

i=1_ (0)i_2_emque(0)i= yi1x1i2x2i3x3i, i = 1, . . . , nDesenvolvendo-seessasexpress oesencontramoson ucleodeumadistribuic aonormal; istoe, | 1, 2, 3, 2, x, yN__a20n

i=1(0)i2+na20;a2022+na20__(iii)_l | (l), x, y_ exp_2l2a2l_exp_122n

i=1_lxli(l)i_2_CEMEQ - Centro de Metodos Quantitativos5.2. ALGORITMODEMETROPOLIS-HASTINGS 59emque(l)i= yi 3

j=1;j=ljxji, i = 1, . . . , n; l = 1, 2, 3(l)denotaovetordetodososparametrosexcetol. Isto e,l | (l), x, yN__a2ln

i=1xli(l)i2+a2ln

i=1x2li;a2l22+a2ln

i=1x2li__paral = 1, 2, 3.Paraan alisedosdadosdatabela(5.3), vamosassumira20=a21=a22=a23=106, istoe,distribuic oesapriori n aoinformativaspara, 1, 2e3. Tambemassumirb=d=1. ParainiciaroamostradordeGibbs, assumirosvaloresiniciais(0)=0, (0)1=(0)2=(0)3=0e(0)=1(0)2= 1. Gerar amostras da posteriori (5.24) usando as distribuic oes condicionais (5.22).UsandoosoftwareWinbugsescrevemososseguinteprograma:Listagem5.3: ProgramaWinBugs1 model2 {3 f o r ( i i n 1:N)4 {5 y [ i ] dnorm(mu[ i ] , tau )6 mu[ i ] 0 (aconhecido)(a)Acharadensidadeaposteriori paradadoy1, y2, ..., yneadensidadepreditivaparaumaobservacaofuturayn+1dadoy1, y2, ..., yn.Afuncaodeverossimilhanca(L) edadapor:L() = nn

i=1I(0,) (yi)Observarque0 < y1< , 0 < y2< , . . . , 0 < yn< ,isto ey(n)= max (y1, . . . , yn)L() = nI[y(n),] ()Posteriori: ( | y) (+1)nI[y(n),] () (+n+1)I[y(n),] ()Conclus ao: ( | y) =k+n+1, > max_a, y(n)_emquek1=_max(a,y(n))(+n+1)dAdensidadepreditivaparaumaobserva caofutura edadapor:f (yn+1 | y) =_f (yn+1 | ) ( | y) demque > yn+1e > max_a, y(n)_. Assim:f (yn+1 | y) =_max(y(n+1),A)1k+n+1d = k_max(y(n+1),A)(+n+1)dCEMEQ - Centro de Metodos QuantitativosA.2. CAPITULO2 102Portanto:f (yn+1 | y) = k(+n+2)+1( +n + 2) + 1 |max((yn+1),k)f (yn+1 | y) =k( +n + 2 1) [max ((yn+1) , k)](n++3)A.2.3 Item3Considerarumadistribuic aogaussianainversaIG(, )comdensidadef (y | , ) =_2y3_12exp__(y )222y__, y> 0; > 0e > 0ObservarqueE (Y ) = V ar (Y ) =3Considerando uma amostra aleatoria (y1, y2, ..., yn) e uma priori nao informativa para e dadapor (, ) 1achar:A.2.4 (a)Adensidadeaposteriori conjuntaparae. Tambemachar adensidadeaposteriorimarginalpara.Assumindo independencia entre as observac oes, a func ao de verossimilhanca (L) e dada porL(y | , ) =_2_n2n

i=1_ 1y3i_12exp_22n

i=1_(yi)2yi__Adensidadeaposterioriconjuntaparaparae edadapor (, | y) 1_2_n2n

i=1_y32i_exp_22n

i=1_(yi)2yi__Adensidadeaposteriorimarginalpara edadapor: ( | , y) _1_2_n2n

i=1_y32i_exp_22n

i=1_(yi)2yi__d ( | , y) 1(2)n2n

i=1_y32i__()n21exp_22n

i=1_(yi)2yi__dComo_0xa1exp (bx) dx =(a)baCEMEQ - Centro de Metodos QuantitativosA.3. CAPITULO3 103temos ( | , y) 1(2)n2n

i=1_y32i_(a)baemque:a =n2 nb =122n

i=1_(yi)2yi_A.2.5 (c)Acharadensidadepreditivaparaumaobservac aofuturaYn+1dadoy1, y2, ..., yn.f (yn+1 | y) =_f (yn+1 | ) ( | y) df (yn+1 | y) =___2y3n+1_12exp__(yn+1)222yn+1__1_2_n2n

i=1_ 1y3i_exp_22n

i=1_(yi)2yi__ddf (yn+1 | y) =n

i=1_ 1y3i__n + 12__1_122(yn+1)2yn+1+n

i=1_(yi)2yi__n+12dA.3 Capitulo3A.3.1 Item1(a)_I () n. Umaconstante.(b)_I (2) _n2 1(c)Verexemplo3.7.A.3.2 Item2(a)L(, ) =_V1_n1exp_V1n1

j=1t1j__V2_n2exp_V2n2

j=1t2j_(b) (, ) 1(c)CEMEQ - Centro de Metodos QuantitativosA.4. CAPITULO4 104f (, | y) _1__V1_n1exp_V1n1

j=1t1j__V2_n2exp_V2n2

j=1t2j_(d)f ( | y) =__1__V1_n1exp_V1n1

j=1t1j__V2_n2exp_V2n2

j=1t2j_df ( | y) = Vn11Vn22_(n1+n2+1)exp_1 ()_demque_(n1+n2+1)exp_n1 +n2, V1n1

j=1t1j +V2n2

j=1t2j_A.4 Capitulo4A.4.1 Item1Sejay1, ..., ynumaamostraaleatoriacomdistribuic aoexponencialf (y | ) =1 exp_y_, y> 0Suporn = 30e y= 12eassumirumapriorideJereyspara.ApriorideJereysparaedadapor () 1, > 0(a)Acharumaaproximac aodeLaplaceparaE ( | y)eV ar ( | y).AesperancadedadoyedadaporE ( | y) =_0 () L() d_0 () L() d(A.2)emqueL() = nexp_n y_LogoE ( | y) =_0nexp_n y_d_0(n+1)exp_n y_d(A.3)AssumindoI,comoumaexpressaoauxiliartem-se,porLaplace,I=_0aexp_b_d = exp [nh()]I 2n exp_nh___(A.4)CEMEQ - Centro de Metodos QuantitativosA.4. CAPITULO4 105emque= [h

()]12Ostermosnecess ariosparaaresoluc aodaintegralporLaplacesaonh() = a log () bnh

() = a+b2= 0 =banh

() =a2 2b3nh

__= a3b2=nba32exp_nh___=aabaexp (a)RetomandoaexpressaodadaemA.4tem-seI=2aa32 exp (a)ba1Paraonumeradordaexpress aodadaemA.3,tem-sea = nb = (n y)eparaodenominadora = (n + 1)b = (n y)AssimE ( | y) =1n32n(n)(n y)n exp (n)1(n+1)32(n+1)(n+1)(n y)(n+1)exp [(n + 1)]E ( | y) =n(n12) ye(n + 1)(n12)Avari anciadedadoyedadaporV ar ( | y) = E_2| y_[E ( | y)]2(A.5)Logo,oobjetivo eencontraraesperancade2dadoyedadaporE_2| y_=_02 () L() d_0 () L() dCEMEQ - Centro de Metodos QuantitativosA.4. CAPITULO4 106E_2| y_=_0(n1)exp_n y_d_0(n+1)exp_n y_d(A.6)Aexpress aodadaemA.4podeserusadanestecasoonde,paraonumeradortem-sea = (n 1)b = (n y)eparaodenominadora = (n + 1)b = (n y)AssimE_2| y_=1(n1)32(n1)(n1)(n y)(n1)exp [(n 1)]1(n+1)32(n+1)(n+1)(n y)(n+1)exp [(n + 1)]E_2| y_= (n y)2(n 1)(n52)e2(n + 1)(12n)LogoV ar ( | y) = (n y)2(n 1)(n52)e2(n + 1)(12n)_n(n12) ye(n + 1)(n12)_2V ar ( | y) = ( ye)2_n2(n 1)(n52)(n + 1)(12n)n2(n12)(n + 1)2(12n)_(b)Acharumaaproximac aodeLaplaceparaaconabilidadeemy= 10.Sejaaconabilidadeemy= 10dadaporg () = exp_10_LogoE [g () | y] =_0exp_10_1nexp_n y_d_01nexp_n y_dE [g () | y] =_0(n+1)exp_n y+10_d_0(n+1)exp_n y_dAexpress aodadaem(A.4)podeserusadanestecasoonde,paraonumeradortem-sea = (n + 1)b = (n y + 10)eparaodenominadora = (n + 1)b = (n y)CEMEQ - Centro de Metodos QuantitativosA.4. CAPITULO4 107LogoE [g () | y] =(n y + 10)1(n y+10)(n+1)(n y)1(n y)(n+1)E [g () | y] = (n y + 10)n(n y)n(c)AcharosvaloresexatosparaE ( | y),V ar ( | y)eaconabilidadeemy= 10.Exato LaplaceE ( | y) 12, 0 12, 4V ar ( | y) 4, 8 5, 5S (10) 0, 43 0, 44(d)Considerarareparametrizac ao = log (). QualapriorideJereys?ApriorideJereysparaareparametrizacaoapresentada edadapor () constanteA.4.2 Item2(a)Sejay1, ..., ynumaamostraaleatoriacomdistribuic aodePoissonf (y | ) =yexp ()y!, y> 0Assumir umapriori deJereys para. Achar aproximac oes deLaplaceparaE (c| y),sendon = 5e y= 10parac = 1, 2, 3, 5e10.ApriorideJereysparaedadapor () 1, > 0AesperancadecdadoyedadaporE (c| y) =_0c12n yexp (n) d_012n yexp (n) dE (c| y) =_0c12+n yexp (n) d_012+n yexp (n) d(A.7)I1=_0aexp (n) d =_exp [nh()]nh() = a log () nnh

() =a n = 0 =annh

() = a2CEMEQ - Centro de Metodos QuantitativosA.4. CAPITULO4 108Laplace:_exp [nh()] d 2n12 exp_nh___=_h

___12nh

__= an2a2= n2ah

__=naexp_nh___=aexp_n_=_an_aexp_nan_=aann exp (a)Assim,I1

2n12_na_12 aann exp (a)

2n1nnaa+12exp (a)Isto e,I1 2nn+1aa+12exp (a)Assimcoma = c 12+n ynonumeradorea = 12+n ynodenominadorde(A.7)temos:E (c| y) 2nn+12_c 12+n y_c12+n y+12exp__c 12+n y_2nn+12_n y 12_n y12+12exp__n y 12_

_n y +c 12_n y+cexp (c)_n y 12_n y(b)Considerarareparametrizac ao = 12. () 112, > 0Transformac ao: = 12d =12121disto edd=212; = 2CEMEQ - Centro de Metodos QuantitativosA.4. CAPITULO4 109 () 1dd121= constanteisto e, () constanteE (c| y) = E_2c| y_=_2c () L() d_ () L() dE (c| y) =_ _2_c_2_n yexp_n2_d_ _2_n yexp_n2_d=_0_2_n y+cexp_n2_d_0_2_n yexp_n2_dResultado:I2=_aexp_n2_d =_exp [nh()]emquenh() = a log () n2ent aonh

() =a 2n = 0a= 2n 2=a2nnh

() = a2 2nnh

() = a_a2n_ 2n= 2naa2n = 4nh

__= 4exp_nh___=aexp_n2_=_2_a2exp_n2_=_a2n_a2exp_na2n_=aa2(2n)a2exp_a2_CEMEQ - Centro de Metodos QuantitativosA.5. CAPITULO5 110Portanto:I22n124aa2(2n)a2exp_a2_2aa2na2+122a2+1 exp_a2_Ent aosubstituira=2 (n y +c)nonumeradordeE (c| y)ea=2n ynodenominadordeE (c| y)paraacharaaproxima caodeLaplaceparaE (c| y)naparametriza cao = 12.A.4.3 Item3(a)SejaT umavari avel aleatoriarepresentandootempode vidade umcomponente, comdistribuic aoexponencialcomdensidade,f (t | i) = i exp (it) , t > 0; i 0emquei=1i,i= E (T | i)eomodelodepotenciainversai=Vi,i = 1, . . . , kusadoemtestesaceleradosindustriais(Viexo). ApriorideJereys edadapor (, ) 1.A.5 Capitulo5A.5.1 Item1(b)Verexemplo5.2.(c)ListagemA.1: ProgramaR12 #Entrada de dados34 y