Inferência Estatística-2016

7/26/2019 Inferncia Estatstica-2016

1/126

Heleno Bolfarine

Monica Carneiro Sandoval

INTRODUCAO A INFERENCIA

ESTATISTICA


2/126

V


3/126

VI

CONTEUDO

PREFACIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv

CAPITULO 1. ELEMENTOS BASICOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1. Alguns Modelos Especiais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1.1. O modelo normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1.2. O modelo exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1.3. O modelo binomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.1.4. O modelo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.1.5. O modelo uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2. Tipos de Problemas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3. Amostras, Estatsticas e Estimadores .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

1.4. Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

CAPITULO 2. ESTIMADORES EFICIENTES E ESTATISTICASSUFICIENTES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.1. Estimadores Eficientes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202.2. Estatsticas Suficientes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .262.3. Estatsticas Conjuntamente Suficientes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.4. Famlias Exponenciais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332.5. Estimadores Baseados em Estatsticas Suficientes . . . . . . . . . . . . . . . . . 392.6. Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

CAPITULO 3. METODOS DE ESTIMACA O . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6

3.1. O Metodo de Maxima Verossimilhanc a . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 63.2. Propriedades dos Estimadores de Maxima Verossimilhanca . . . . . . . . 55

3.2.1. Invaria n c i a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 63.2.2. Distribuicao em grandes amostras . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.3. Verossimilhanca para Amostras Independentes .................... 593.4. O Caso Multiparametrico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .613.5. Famlia Exponencial e o Metodo de Maxima Verossimilhanc a . . . . . . 6 43.6. O Metodo dos Momentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.7. Estimadores Consistentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683.8. Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

CAPITULO 4. INTRODUCAO A TEORIA DAS DECISOES.

OS PRINCIPIOS MINIMAX E DE BAYES . . . . . . . . . . . . . . . . . . . 7 4

4.1. Os Elementos Ba s i c o s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 94.2. O Princpio Minimax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524.3. O Princpio de B ayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534.4. Estimadores de Bayes com Perda Quadratica . . . . . . . . . . . . . . . . . . . . . 54


4/126

VII

4.5. Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

CAPITULO 5. ESTIMACAO POR INTERVALO .. . . . . . . . . . . . . . . . . . . . . . . 96

5.1. Amostras de Populacoes Normais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.2. O Metodo da Quantidade Pivotal. .. . .. . . .. . . . . . . . . .. . . . .. . . . . . . . . .995.3. Intervalos para Populacoes Normais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

5.3.1. O caso de uma unica amostra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1065.3.2. Duas amostras independentes .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

5.4. Intervalos de Confianc a A p r o x i m a d o s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0 95.5. Intervalos de Confianca Bayesianos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1115.6. Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

CAPITULO 6. TESTES DE HIPOTESES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

6.1. Ideias Ba s i c a s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 86.2. Formulacao Estatstica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1196.3. Hipotese Nula Simples contra Alternativa Simples.

Testes Mais Poderosos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 36.4. Testes Uniformemente Mais Poderosos ...........................130

6.4.1. Hipotese nula simples contra alternativa composta .. . . . . . . . . 1306.4.2. Hipoteses c ompostas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 33

6.5. Testes da Razao de Verossimilhancas Generalizada. . . .. . . . . . . . . . . .1346.6. Testes Bayesianos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1496.7. Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

I N D I C E R E M I S S I V O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 6


5/126

VIII

PREFACIO

O objetivo principal deste texto e propiciar aos estudantes um materialbasico para um curso introdutorio de Inferencia Estatstica usualmente minis-trado em programas de bacharelado em Estatstica. Lecionando ha varios anosa referida disciplina em cursos de bacharelado e de pos graduacao no Departa-mento de Estatstica do Instituto de Matematica e Estatstica da Universidadede Sao Paulo, experimentamos varias alternativas didaticas, mas sempre nosressentimos da ausencia de textos adequados em portugues e ate mesmo emingles para o nvel em questao. E foi pensando em preencher essa lacuna queresolvemos elaborar este trabalho, destinado aos estudantes com conhecimentosbasicos de probabilidade e calculo.

O texto esta elaborado para um curso de um semestre com seis horas sema-nais, duas das quais devem ser reservadas para exerccios. E dividido em seiscaptulos, tendo no final de cada um uma serie de exerccios.

O Captulo 1 e dedicado a descricao de alguns modelos comumente uti-lizados em situacoes praticas. Sao apresentados metodos de comparacao entreestimadores, com enfase especial ao metodo do Erro Quadratico Medio mnimo.

O Captulo 2 apresenta a obtencao de estimadores eficientes, utilizando adesigualdade da informacao, a partir da qual se obtem o limite inferior davariancia dos estimadores nao viciados. Usando esses resultados em algunsmodelos importantes, e possvel a obtencao de estimadores otimos, ou seja,de menor variancia. Uma famlia importante em que tais estimadores sao obti-dos e a bem conhecida famlia exponencial de distribuicoes, apresentada notexto com algum detalhe. A utilizacao de estatsticas suficientes, no sentido deapresentarem um resumo dos dados sem perda de informacao, e tambem consi-

derada nesse captulo. Mostra-se tambem que estimadores que nao sao funcoesde estatsticas suficientes podem ser melhorados por meio do conhecido Teo-rema de Rao-Blackwell.

O Captulo 3 e dedicado a tecnicas de obtencao de estimadores, dentreas quais destacamos os metodos de maxima verossimilhanca e dos momen-tos. Propriedades dos estimadores de maxima verossimilhanca em grandesamostras sao tambem consideradas. Essas propriedades permitem a realizacaode inferencias em modelos mais complexos que sao comumente utilizados emsituacoes praticas.

No Captulo 4 consideramos as ideias basicas da teoria das decisoes, en-fatizando a importancia da funcao de risco como um meio de obten cao debons estimadores. A utilizacao da funcao de risco permite a derivacao de es-

timadores do tipo minimax e tambem de estimadores de Bayes, incorporandouma distribuicao a priori para descrever conhecimentos subjetivos a cerca dosparametros de interesse.

A construcao de intervalos de confianca com coeficientes de confianca exa-tos e aproximados e considerada no Captulo 5. Um metodo importante de


6/126

IX

construcao de intervalos e o uso de quantidades pivotais. Tal enfoque propicia a

construcao de intervalos exatos para varios modelos importantes e aproximadosem situacoes mais complexas. Intervalos Bayesianos baseados na distribuicao aposteriori sao tambem considerados.

O Captulo 6 e dedicado a construcao de testes de hipoteses. Testes otimospara o caso de hipotese nula simples contra alternativa simples sao derivadosa partir do Lema de Neyman-Pearson. Algumas generalizacoes para hipotesescompostas sao tambem consideradas. Problemas mais complexos que podemenvolver hipoteses bilaterais sao tratados utilizando a estatstica da razao deverossimilhancas generalizada que, apesar de nao possuir propriedades otimas,leva em geral a bons procedimentos que nao apresentam muita dificuldade deimplementacao.

Nao inclumos no texto tabelas estatsticas, pois a enfase maior e dada

a problemas teoricos. No caso de haver necessidade de utilizacao de tabelas,sugerimos aos estudantes utilizar as tabelas em Bussab e Morettin (1987).Agradecemos as colegas Elisete da Conceicao Quintaneiro Aubin, Marcia

DElia Branco e Silvia Lopes de Paula Ferrari que leram as vers oes preliminarese contriburam com varias sugestoes. Agradecemos tambem a aluna JacquelineSantEufemia David pela elaboracao das figuras.

Sao Paulo, setembro de 2000

Heleno Bolfarine e Monica C. Sandoval


7/126

1. Elementos Basicos

1.1 Alguns Modelos Especiais

Nesta secao consideramos alguns modelos probabilsticos que sao comumente

utilizados na analise de dados em problemas praticos. O modelo probabilsti-co (ou estatstico) e de suma importancia para inferir resultados da amostrapara a populacao toda.E importante que, na selecao do modelo a ser utilizado,o estatstico tenha em mente que o modelo deve representar, na medida dopossvel, a complexidade que envolve o mundo real da populacao em estudo.Entre os modelos mais utilizados, temos

1.1.1 O modelo normal

Dizemos que X tem distribuicao normal com media e variancia 2, quedenotamos porX N(, 2), se a funcao de densidade de probabilidade de Xe dada por

f(x|, 2

) =

1

2 e(x)2

2

2

, < x < ,em que < < e2 >0. Nesse caso,e2 sao denominados parametrosda distribuicao e o suporte de X, isto e, A(x) ={x, f(x)> 0}, e a reta toda.Notemos tambem que

E[X] = e V ar[X] =2.

Situacoes praticas em que o modelo normal e comumente utilizado incluemcaractersticas populacionais, tais como: peso, altura, pressao arterial, quocientede inteligencia, etc.

1.1.2 O modelo exponencial

Dizemos queXtem distribuicao exponencial com parametro, que denotamospor X Exp(), quando a funcao de densidade de probabilidade deX e dadapor


8/126

2 1. Elementos Basicos

f(x

|) =ex, x >0,

em que >0. Nesse caso, A(x) = {x, x >0}. Notemos tambem que

E[X] = 1

e V ar[X] =

1

2.

O modelo exponencial e comumente empregado para descrever tempo de vidade equipamentos. Lembremos que o modelo exponencial tem a bem conhecidapropriedade da falta de memoria, ou seja, se o tempo de vida de um equipa-mento segue a distribuicao exponencial, entao, em qualquer instante, o equipa-mento e como se fosse novo, nao importando o quanto ele ja tenha sido utilizado.

1.1.3 O modelo binomial

Dizemos que a variavel aleatoriaXtem distribuicao binomial, com parametrosne , que denotamos porX Binomial (n, ), se sua funcao de probabilidadee dada por

f(x|) =

n

x

x(1 )nx, x= 0, 1, . . . , n ,

em que 0<


9/126

1.1 Alguns Modelos Especiais 3

, que denotamos por X

Poisson(), quando a funcao de probabilidade e

dada por

f(x|) = ex

x! , x= 0, 1, . . . ,

em que >0. Nesse caso, o suporte deX e o conjuntoA(x) = {x, x= 0, 1,...}.Temos tambem que,

E[X] =V ar[X] =.

O modelo de Poisson e bastante utilizado para descrever situacoes que en-volvem, por exemplo, o numero de chamadas que chegam a uma centraltelefonica, o numero de partculas emitidas por uma fonte radioativa ouo numero de pessoas que chegam a determinada fila, sempre em um intervalode tempo fixado.

1.1.5 O modelo uniforme

O modelo uniforme e bastante importante do ponto de vista teorico. Dizemosque X tem distribuicao uniforme no intervalo (0, ), que denotamos por XU(0, ), se a funcao de densidade de X e dada por

f(x|) =

1 , 0< x < ,0, caso contrario,

= 1

I(0,)(x),

>0, em que

I(0,)(x) = 1, 0< x < ,

0, caso contrario,

ou seja, I(0,)(x) e a funcao indicadora do intervalo (0, ). Notemos que, nessecaso, A(x) ={x, 0 < x < }, ou seja, o suporte da variavel X (ou de f(x|))depende do parametro . No caso dos modelos normal, exponencial, binomiale de Poisson, isso nao acontece, ou seja, nesses casos, o suporte da distribuicaode X e independente de . Temos tambem que, se X U(0, ), entao,

E[X] =

2 e V ar[X] =

2

12.

No decorrer do texto, outros modelos parametricos, como por exemplo, o mo-

delo uniforme discreto e o modelo gama, serao apresentados. Veremos tambemque os modelos normal, exponencial, binomial e de Poisson s ao membros deuma famlia bastante geral de modelos, que e a famlia exponencial.


10/126


1.2 Tipos de Problemas

No presente texto, vamos nos ater exclusivamente a problemas de estimacao ede testes de hipoteses.

Definicao 1.2.1. SejaX uma variavel aleatoria com funcao de densidade (oude probabilidade) que abreviamos por f.d.p. (f.p.) e que denotamos porf(x|),em que e um par ametro desconhecido. Chamamos de inferencia estatstica oproblema que consiste em especificar um ou mais valores para , baseado emum conjunto de valores observados deX.

Vamos assumir que a distribuicao da variavel aleatoria Xpertence a certafamlia de distribuicoes em que um particular elemento e especificado, quandoo valor do parametro e especificado.

No caso de um problema de estimacao, o objetivo e procurar, segundo al-gum criterio especificado, valores que representem adequadamente os parametrosdesconhecidos. No caso de problemas de testes de hipoteses, o objetivo e ver-ificar a validade de afirmacoes sobre um valor (ou valores) do(s) parametro(s)desconhecido(s). Por exemplo, quando o interesse e verificar se a proporcao de eleitores de determinado candidato e maior que 1/2 (ou 50%), as hipotesesa serem testadas sao H0 : 1/2 versus H1 : > 1/2. Quando estamosinteressados em verificar se o peso medio, , de pacotes de um quilogramaempacotados por determinada maquina realmente e um quilograma, entao, ashipoteses a serem testadas podem ser representadas por H0 : = 1 versusH1 : = 1.

1.3 Amostras, Estatsticas e Estimadores

Nesta secao os conceitos de estatstica e estimador sao introduzidos. Criteriospara a comparacao de estimadores sao tambem considerados.

Definicao 1.3.1. O conjunto de valores de uma caracterstica (observavel)associada a uma colecao de indivduos ou objetos de interesse e dito ser umapopulacao.

Qualquer parte (ou subconjunto) de uma populacao e denominada umaamostra. De maneira mais formal, temos

Definicao 1.3.2. Uma sequenciaX1, . . . , X n den variaveis aleatorias indepen-dentes e identicamente distribudas (i.i.d.) com funcao de densidade (f.d.p.) ou,no caso discreto, funcao de probabilidade (f.p.) f(x|) e dita ser uma amostraaleatoria de tamanho n da distribuicao deX. Nesse caso, temos,


11/126

1.3 Amostras, Estatsticas e Estimadores 5

(1.3.1) f(x1, . . . , xn|) =n

i=1

f(xi|) = f(x1|) . . . f (xn|).

Conclumos, a partir da Definicao 1.3.2, que usamos a amostra X1, . . . , X npara obter informacao sobre o parametro . A funcao de densidade (ou deprobabilidade) conjunta dada em (1.3.1) e denominada funcao de verossimi-lhanca de , correspondente a amostra observada x = (x1, . . . , xn)

e seradenotada por

L(; x) =ni=1

f(xi|).

Definicao 1.3.3. Qualquer funcao da amostra que nao depende de parametros

desconhecidos e denominada uma estatstica.

No exemplo que apresentamos a seguir, consideramos varias estatsticas queserao utilizadas com frequencia nos captulos seguintes.

Exemplo 1.3.1. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX, com f.d.p. ou f.p. f(x|). Exemplos de estatsticas sao

(i)X(1)= min(X1, . . . , X n),

(ii)X(n) = max(X1, . . . , X n),

(iii) X=med(X1, . . . , X n),

(iv)X= 1nni=1 Xi,(v) 2 = 1n

ni=1(Xi X)2.

Em (i), (ii) e (iii) acima, min(.), max(.) e med(.) denotam, respectivamente,o mnimo, o maximo e a mediana amostral observada. Por outro lado, X e 2

denotam, respectivamente, a media e a variancia amostrais.

Definicao 1.3.4. O conjunto em que toma valores e denominado espacoparametrico.

Exemplo 1.3.2. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX N(, 2).

(i) Se2 = 1, entao = e o parametro desconhecido e

= {, < < };(ii) Se = 0, entao = 2 e o parametro desconhecido e

= {2, 2 >0};


12/126


(iii) Se e 2 sao desconhecidos entao = (, 2) e

= {(, 2), < < e 2 >0}.

Definicao 1.3.5. Qualquer estatstica que assuma valores em e um esti-mador para.

Em muitas situacoes, o interesse e estimar uma funcao g (). Suponha, porexemplo, que no caso (iii) do exemplo anterior, o objetivo e estimar somente, sendo2 um parametro de pertubacao. Nesse caso,g () =.

Definicao 1.3.6. Qualquer estatstica que assuma valores somente no conjuntodos possveis valores deg() e um estimador parag().

Um dos grandes problemas da estatstica e o de encontrar um estimadorrazoavel para o parametro desconhecido ou para uma funcao g(). Um dosprocedimentos comumente utilizados para se avaliar o desempenho de um es-timador e o seu erro quadratico medio que e considerado a seguir.

Definicao 1.3.7. O erro quadratico medio (EQM) de um estimador doparametro e dado por

EQM[] =E[( )2].Pode-se mostrar (ver Exerccio 1.1) que

(1.3.2) EQM[] =V ar[] + B2(),

em queB() =E[]

e denominado o vcio do estimador . Dizemos que um estimador e naoviciado para se

E[] =,

para todo , ou sejaB() = 0, para todo . SelimnB() = 0 paratodo , dizemos que o estimador eassintoticamente nao viciadopara. No caso em que e um estimador nao viciado para , temos que

EQM[] =V ar[],

ou seja, o erro quadratico medio dese reduz a sua variancia. Um outro conceito

importante em grandes amostras (n ) e a propriedade de consistencia quesera considerada na Secao 3.7.

Exemplo 1.3.3. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX com E[X] = e V ar[X] =2. Temos, entao, que


13/126


E[X] =E 1nn

i=1

Xi = 1nn

i=1

E[Xi] =

e

V ar[X] = 1

n2

ni=1

V ar[Xi] = 2

n.

Portanto X e um estimador nao viciado para . Com relacao a varianciaamostral, temos

E[2] = 1

nE

ni=1

(Xi X)2 = 1n

ni=1

E[(Xi X)2]

= 1

n

ni=1

E{[(Xi ) (X )]2

}

(1.3.3) =(n 1)

n 2.

Portanto 2 e viciado para 2, mas e assintoticamente nao viciado, ou seja, amedida que o tamanho da amostra aumenta, o vcio diminui.

O erro quadratico medio e comumente empregado na comparacao de esti-madores. Dizemos, entao, que 1 e melhorque 2 se

(1.3.4) EQM[1] EQM[2],

para todo , com substitudo por < pelo menos para um valor de . Nessecaso, o estimador 2 e dito ser inadmissvel. Se existir um estimador

talque para todo estimador de com=

(1.3.5) EQM[] EQM[],para todo com substitudo por < para pelo menos um , entao e ditoser otimo para . Notemos que, se em (1.3.5) os estimadores s ao nao viciados,

entao e dito ser o estimador nao viciado de variancia uniformemente mnima,se

V ar[] V ar[],para todo , comsubstitudo por < para pelo menos um .Exemplo 1.3.4.SejamX1, X2, X3uma amostra aleatoria da variavel aleatoriaX com E[X] = eV ar[X] = 1. Consideremos os estimadores

1= X=X1+ X2+ X3

3 e 2=

1

2X1+

1

4X2+

1

4X3.


14/126


Como no Exemplo 1.3.3,

E[1] = e V ar[1] = 1

3.

Temos tambem (ver Exerccio 1.3) que

(1.3.6) E[2] = e V ar[2] = 6

16.

Como1 e 2 sao ambos nao viciados, segue de (1.3.4) que X e melhor que2,

poisV ar[X]< V ar[2], para todo .

Exemplo 1.3.5. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX comE[X] = eV ar[X] = 2, em que2 e conhecido. Consideramos agoraos estimadores lineares

XL=ni=1

liXi,

em que li 0, i = 1, . . . , n sao constantes conhecidas. Como

E[XL] =E

ni=1

liXi

=

ni=1

liE[Xi] =ni=1

li,

temos que XL e um estimador nao viciado para se e somente se

(1.3.7)n

i=1 li = 1.O estimador XL com a condicao (1.3.7) e entao uma combinacao linear con-

vexa de X1, . . . , X n. Notemos que 1 e 2 considerados no Exemplo 1.3.4 saocombinacoes lineares convexas de X1, X2, X3. Temos tambem que

(1.3.8) V ar[XL] =ni=1

l2i V ar[Xi] =2

ni=1

l2i .

Portanto o estimador XL, que e nao viciado e apresenta a menor variancia,e obtido minimizando-se (1.3.8) sujeito a condicao (1.3.7). Para atingir talobjetivo, sendol =

ni=1 li/n= 1/na media doslis, temos que

ni=1

(li l)2 =ni=1

l2i nl2

=ni=1

l2i 1/n,

de modo que


15/126


V ar[XL] =2

n

i=1

l2

i

(1.3.9) =2

ni=1

li 1

n

2+

1

n

.

Assim, a expressao (1.3.9) sera mnima quando li = 1/n, ou seja o estimadorXL com menor variancia e a media amostral X. Portanto, dentre todos osestimadores lineares nao viciados XL, o que apresenta a menor variancia e amedia amostral X. De (1.3.9) segue tambem que V ar[X] =2/n. Uma outraforma de minimizar a variancia (1.3.8), sob a condicao (1.3.7), e feita utilizando-se de multiplicadores de Lagrange. Nesse caso, temos o Lagrangeano

L() =2 ni=1

l2i ni=1

li 1 .Derivando sucessivamente com relacao a l1, . . . , ln, temos as equacoes

22l1 = 0, . . . , 22ln = 0,de modo que

2li2 = 2ln

2,

logoli = ln,

i = 1, . . . , n. Sendoni=1 li = 1, segue que li = 1/n, i = 1, . . . , n, como

concludo acima.

Exemplo 1.3.6. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX N(, 2). Conforme visto no Exemplo 1.3.3, 2 e um estimador viciadopara 2. De (1.3.3) segue que

S2 = n

n 1 2 =

1

n 1ni=1

(Xi X)2

e um estimador nao viciado para2. Por outro lado, temos (ver Exerccio 1.4)que

(1.3.10) EQM[S2] =V ar[S2] = 24

n 1,

e que

(1.3.11) EQM[2] = 24

(n 1)

1 (3n 1)2n2

.


16/126


Notemos que 2, apesar de viciado, apresenta um EQMmenor que o EQM

do estimadorS2.

Exemplo 1.3.7. Sejam X1, . . . , X n uma amostra aleatoria de tamanho n davariavel aleatoria X, com distribuicao de Bernoulli com parametro, ou sejaBinomial(1, ). Conforme visto no modelo binomial, Y =X1+. . .+Xn temdistribuicao Binomial(n, ). Consideremos os estimadores

1= X= Y

n e 2=

Y +

n/2

n +

n .

Como E[X] =, temos que

EQM[1] =V ar[X] =

(1

)

n .

Por outro lado,

E[2] =E

Y +

n/2

n +

n

=

n+

n/2

n +

n =

n

n +

n+

n/2

n +

n,

de modo que 2 e um estimador viciado para . Notemos que, na verdade, ovcio e uma funcao linear de . Portanto

EQM[2] =E

Y +

n/2

n +

n

2

= 1

(n +

n)2E

(Y n) + n12 2

= 1

(n +

n)2

V ar[Y] + n

1

2

2

= n

4(n +

n)2.

Um fato importante a ser notado e que oEQMdo estimador2 e independentede. OEQM dos dois estimadores e representado graficamente na Figura 1.1,para n = 9.

Temos, entao, que nenhum dos estimadores e melhor uniformemente, isto e,

para todo . Parac1< < c2, E QM[2]< EQM[1], ou seja, 2 e melhor que1. Por outro lado, para < c1 ou > c2, temos que EQM[1] < EQM[2],

ou seja, 1 e melhor que 2. Para o calculo de c1 ec2, ver Exerccio 1.5.


17/126


Figura 1.1.E QM de 1= 1 e2= 2

0 1/2 1

1/64

1/36

EQM

c1

1

c2

2

Exemplo 1.3.8. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX U(0, ). Vamos considerar 1 = X e 2 = X(n) como estimadores de .Como E[X] =/2 e V ar[X] = 2/12 (ver o modelo (1.1.4)), temos que

(1.3.12) E[1] =E[X] =

2,

e

(1.3.13) V ar[1] = 2

12n.

Portanto o estimador 1 e viciado para . Combinando (1.3.12) e (1.3.13) em(1.3.2), temos que

EQM[1] = 2

12n+

2

2=

(1 + 3n)

12n 2.

Por outro lado, a funcao de densidade de X(n) (ver Exerccio 1.6) e dada por

(1.3.14) fX(n)(x|) =nxn1

n , 0< x < ,

logo

(1.3.15) E[X(n)] = n

n + 1

e V ar[X(n)] = n2

(n+ 1)2

(n + 2)

.

Portanto

EQM[2] = n2

(n + 1)2(n+ 2)+

2

(n+ 1)2 =

22

(n+ 1)(n + 2).


18/126


A Tabela 1.1 mostra o valor do EQM dos dois estimadores para varios va-

lores de n. Notemos tambem que, quando n , EQM[1] 2/4 e queEQM[2] 0.

Tabela 1.1. EQM de 1 e 2

n EQM [1] EQM[2] EQM[2]/EQM[1]3 52/18 2/10 0,275 42/15 2/21 0,12

10 312/120 2/662 0,0420 612/240 2/2312 0,01

Portanto X(n) e melhor que Xpara todo en > 1.

Exemplo 1.3.9. Consideremos uma urna com N bolas identicas marcadascom os numeros 1, . . . , N . O objetivo e a estimacao de N, o numero de bolasnumeradas na urna. Esse problema esta muitas vezes associado ao problemada estimacao do numero N de taxis em uma cidade, em que os t axis estaonumerados de 1 a N. Portanto uma determinada quantidade (n) de bolas (taxis)e observada, com reposicao. Associada a i-esima observacao, temos a variavelaleatoria

Xi: numero da i-esima bola (taxi) retirada da urna,

i= 1, . . . , n. Nesse caso,

P[Xi = k] = 1

N

, k= 1, . . . , N .

Portanto a distribuicao de Xi e uniforme discreta, pois a distribuicao de Xiassocia a mesma probabilidade a todos os possveis valores deXi,i = 1, . . . , n.Como possveis estimadores de N, consideremos inicialmente N1 =X e N2 =X(n). Nao e difcil verificar que

(1.3.16) E[N1] =E[X] =N+ 1

2 .

Por outro lado, desde que

P[X(n)= k] =P[X(n) k] P[X(n) k 1] =

k

Nn

k 1

N n

,

temos que

E[X(n)] =Nn

Nn+1 Nk=1

(k 1)n

.


19/126

1.4 Exerccios 13

Usando a aproximacao (Feller, 1976),

Nk=1

(k 1)n = 1n + . . . + (N 1)n= N0

yndy= Nn+1

n + 1,

(paraN grande), temos que

(1.3.17) E[N2] =E[X(n)]=Nn

Nn+1 Nn+1

n + 1

=

n

n + 1N.

De (1.3.16) e (1.3.17), po demos definir novos estimadores. Por exemplo,

N3= 2X 1,

que e nao viciado eN4=

n + 1

n X(n),

que e aproximadamente nao viciado. Sen = 8 bolas sao retiradas com reposicaoda caixa e os numeros observados sao: 124, 212, 315, 628, 684, 712, 782, 926,entao, N1 = X = 547, 875, N3 = 2X 1 = 1095, N2 = X(n) = 926, eN4= 1042.Podemos considerar tambem o estimador

N5=Xn+1

(n) (X(n) 1)n+1

Xn(n)

(X(n) 1)n ,

que e um estimador nao viciado para N(ver Exerccio 1.7).

1.4 Exerccios

1.1.Verifique a validade da expressao (1.3.2).



1.4.Verifique a validade das expressoes (1.3.10) e (1.3.11).

1.5. Encontrec1 ec2 na Figura 1.1. que sao os pontos de interseccao dos erros

quadraticos medios de 1 e

2.

1.6. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X U(0, ). Mostre que a funcao de densidade de probabilidade de X(n) e comodada em (1.3.14), com esperanca e variancia como dadas em (1.3.15).


20/126


1.7.Mostre que o N5 no Exemplo 1.3.9 e um estimador nao viciado para N.

1.8.SejamX1, . . . , X n uma amostra aleatoria de tamanho n da distribuicao davariavel aleatoriaX, em que X N(, 1). Considere os estimadores 1= Xe2 = 10. Encontre o EQM de 1 e de 2 como funcao de . Faca um graficodo EQM para n = 10.

1.9. Seja X uma unica variavel aleatoria com distribuicao de Bernoulli comparametro . Sejam 1= X e 2= 1/2 dois estimadores de .

(i) Verifique se 1 e 2 sao nao viciados para .(ii) Compare osEQMs. Faca um grafico dosEQMscomo funcao de .

1.10.Sejam X1, . . . , X n uma amostra aleatoria de tamanho n da distribuicaoda variavel aleatoriaXcom f.d.p. dada por

f(x|) = e(x), x > , >0.(i) Especifique o espaco parametrico e o suporte associado a distribuicao deX.

(ii) Verifique se 1= X e 2= X(1) sao estimadores nao viciados para .(iii) Encontre e compare osEQMsdos dois estimadores. Faca um grafico comofuncao de .

1.11. Sejam X1, . . . , X n um amostra aleatoria de tamanho n da distribuicaoda variavel aleatoriaXcom f.d.p. dada por

f(x|) = 2x2

, 0< x < , >0.

(i) Especifique o espaco parametrico e o suporte associado a distribuicao deX.(ii) Verifique se 1= X e 2= X(n) sao nao viciados para .(iii) Encontre e compare os EQMs dos dois estimadores. Faca um grafico dosEQMscomo funcao de.

1.12.Sejam X1, . . . , X n uma amostra aleatoria de tamanho n da distribuicaode uma variavel aleatoria X U(0, ). Considere os estimadores 1 = c1X e2= c2X(n).(i) Encontrec1 ec2 que tornam os estimadores nao viciados.(ii) Encontre e compare os EQMsdos dois estimadores.

1.13.Sejam X1, . . . , X n uma amostra aleatoria de tamanho n da distribuicaoda variavel aleatoria X

N(0, 2). Seja S2 =

ni=1 X

2i . Considere os esti-

madores2c =cS

2.

(i) Encontre o E QMdo estimador acima.(ii) Encontre o valor de c que minimiza o E QMem (i).


21/126

2. Estimadores Eficientes e Estatsticas

Suficientes

Neste captulo sera apresentada a nocao de estimador eficiente, como sendoaquele que atinge o limite inferior da variancia dos estimadores nao viciados.Estimadores eficientes sao obtidos apenas para distribuicoes que sao membrosde uma classe especial, que e a famlia exponencial de distribuicoes. Veremostambem que todo estimador para ser otimo, segundo o criterio do menor erroquadratico medio, deve ser funcao de uma estatstica suficiente. De modo in-formal, estatsticas suficientes para um parametro (ou para uma distribuicao)sao aquelas que condensam os dados sem perder nenhuma informa cao contidanos mesmos. Ou seja, elas sao tao informativas para o parametro (ou para adistribuicao) quanto a amostra toda.

2.1 Estimadores Eficientes

Eficiencia de um estimador de um parametro e definida a seguir.

Definicao 2.1.1. Chamamos de eficiencia de um estimador, nao viciado parao parametro , o quociente

e() = LI()

V ar[],

ondeLI() e o limite inferior da variancia dos estimadores nao viciados de.

Convem notar que:(i) e() = 1 quando LI() = V ar[], ou seja, quando a variancia de

coincide com o limite inferior da variancia dos estimadores nao viciados de .Nesse caso, e dito ser eficiente;

(ii) como veremos no teorema seguinte,

(2.1.1) LI() = 1

nElog f(X|)

2 ,quando certas condicoes de regularidade estao satisfeitas;


22/126

16 2. Estimadores Eficientes e Estatsticas Suficientes

(iii) as condicoes de regularidade a que nos referimos no item (ii) s ao basi-

camente duas, isto e, que o suporte A(x) ={x, f(x|)> 0} seja independentede e que seja possvel a troca das ordens das operacoes de derivacao e deintegracao sob a distribuicao da variavel aleatoriaX;

(iv) a nao ser que mencionado o contrario, todo logaritmo utilizado no textoe calculado na base e.

Exemplo 2.1.1. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX N(, 2), em que 2 e conhecido. Temos que

f(x|) = 12

e(x)2

22 , < x < ,

e

log f(x|) = log 2 1

2log 2

(x

)2

22 .

Portanto

(2.1.2) log f(x|)

=

(x )2

.

Assim,

E

log f(X|)

2=E

(X )2

4

=

1

4E[(X )2] = 1

2,

logo conclumos, juntamente com (2.1.1), que

LI() = 2n

.

Conforme visto no Exemplo 1.3.3, temos que

V ar[X] = 2

n =LI(),

de modo queX e um estimador eficiente para . De (2.1.2), temos tambem que

(2.1.3) E

log f(X|)

=

1

2E[X ] = 0.

Definicao 2.1.2. A quantidadelog f(X|)

e chamada funcao escore.


23/126

2.1 Estimadores Eficientes 17

O resultado (2.1.3) na verdade vale em geral quando valem as condicoes de

regularidade, ou seja,

(2.1.4) E

log f(X|)

= 0.

Portanto o valor esperado da funcao escore e sempre igual a zero.

Definicao 2.1.3. A quantidade

IF() =E

log f(X|)

2,

e denominada informacao de Fisher de.

Como consequencia de (2.1.4) temos que

IF() =V ar

log f(X|)

,

pois para uma variavel aleatoriaX qualquer com E[X] = 0, V ar[X] =E[X2].Um resultado importante (veja o Exerccio 2.6) estabelece que

E

log f(X|)

2= E

2 log f(X|)

2

.

Uma outra propriedade importante estabelece que para uma amostra aleat oria,

X1, . . . , X n, da variavel aleatoria X com f.d.p (ou f.p.) f(x|) e informacaode Fisher IF(), a informacao total de Fisher de correspondente a amostraobservada e a soma da informacao de Fisher das n observacoes da amostra, ouseja, sendo

(2.1.5) L(; x) =f(x1, . . . , xn|) =ni=1

f(xi|),

a densidade conjunta de X1, . . . , X n, temos que

E

log L(; X)

2= E

2 log L(; X)

2

(2.1.6) = E ni=1

2 log f(Xi|)2

=

ni=1

E

2 log f(Xi|)2

=nIF(),


24/126


pois Xi, i= 1, . . . , n tem a mesma informacao que X. Lembremos que, sendo

X1, . . . , X n uma amostra aleatoria da variavel aleatoria X, entao X1, . . . , X nsao independentes e identicamente distribudas com a mesma distribuicao queX.

Teorema 2.1.1. Desigualdade da Informacao. Quando as condicoes deregularidade estao satisfeitas, a variancia de qualquer estimador nao viciado do parametro satisfaz a desigualdade

V ar[] 1nIF()

.

Prova.Vamos considerar o caso em que X e uma variavel aleatoria contnua.

Sendo X1, . . . , X n uma amostra aleatoria da variavel aleatoriaX, temos que

(2.1.7)

. . .

L(; x)dx1 . . . d xn = 1,

onde L(; x) e dada em (2.1.5). Desde que e nao viciado, ou seja, E[] = ,temos tambem que

(2.1.8)

. . .

L(; x)dx1. . . dxn = .

Derivando ambos os lados de (2.1.7) com relacao a , temos que

. . .

L(; x)dx1. . . dxn =

. . .

L(; x)

dx1 . . . d xn = 0.

Por outro lado, de (2.1.8), temos que

. . .

L(; x)dx1 . . . xn =

. . .

L(; x)

dx1 . . . d xn = 1.

ComoL(; x)

=t(; x)L(; x),

onde

t(; x) = log L(; x)

,

temos das expressoes acima que

E[t(; X)] = 0,

e


25/126

2.1 Estimadores Eficientes 19

E[t(; X)] = 1.

Como

t = E[t(; X)] E[]E[t(; X)]

V ar[]V ar[t(; X)],

ondet denota o coeficiente de correlacao entree t, de tal forma que2

t 1,

temos que

V ar[] 1V ar[t(; X)]

.

Como as variaveisX1, . . . , X n sao independentes e identicamente distribudascom densidadef(x|), temos de (2.1.5) e de (2.1.6) que

V ar[t(; X)] =V ar log L(; X)

=nIF(),o que prova o resultado.

Exemplo 2.1.2. Sejam X1, . . . , X n uma amostra aleatoria de tamanho n davariavel aleatoriaX Poisson(), com funcao de probabilidade dada por

f(x|) = ex

x! , x= 0, 1, . . . ,

Nesse caso, temos que

log f(x|) = log x! + x log ,de modo que

log f(x

|)

=

x

1,ou seja,

E

2 log f(X|)

2

= 1

.

Portanto

LI() =

n.

Como V ar[X] =/n, conclumos que X e um estimador eficiente para .

Enfatizamos que a desigualdade da informacao (inicialmente chamada deCramer-Rao) nao e um metodo de construcao de estimadores. Ela apenas possi-bilita verificar se determinado estimador e ou nao eficiente.E entao importante

que sejam estabelecidos metodos para construcao de estimadores que tenhamalguma propriedade interessante, ou que levem a estimadores com boas pro-priedades. Contudo, antes de estabelecermos tais metodos (ou criterios), vamosconsiderar estatsticas que reduzam (condensem) os dados sem que haja perdade informacao. Tais estatsticas sao conhecidas como estatsticas suficientes.


26/126


2.2 Estatsticas Suficientes

Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria Xcom funcaode densidade ou de probabilidade f(x|). Quando resumimos a informacao queos dados contem sobre, utilizando uma estatstica, e importante que nao hajaperda de informacao sobre . Ou seja, a estatstica a ser considerada deve,dentro do possvel, conter toda a informacao sobre presente na amostra. Emoutras palavras, se pudermos usar uma estatstica T =T(X1, . . . , X n) para ex-trairmos toda informacao que a amostraX1, . . . , X ncontem sobre, entao dize-mos queT (que pode ser um vetor) e suficiente para . Desse modo, o conhec-imento apenas de T (e nao necessariamente da amostra completa X1, . . . , X n)e suficiente para que sejam feitas inferencias sobre . A seguir apresentamos adefinicao formal.

Definicao 2.2.1. Dizemos que a estatstica T = T(X1, . . . , X n) e suficientepara, quando a distribuicao condicional deX1, . . . , X n dado T for indepen-dente de.

Os exemplos a seguir ilustram a obtencao de estatsticas suficientes pelautilizacao da Definicao 2.2.1.

Exemplo 2.2.1. Sejam X1, . . . , X n uma amostra aleatoria da distribuicaoBinomial(1, ), ou seja, de Bernoulli(). Vamos verificar se a estatsticaT =

ni=1 Xi e suficiente para . De acordo com a Definicao 2.2.1, T e su-

ficiente para , se a probabilidade condicional P[X1=x1, . . . , X n = xn|T =t]for independente de . Temos, parax1, . . . , xn = 0 ou 1 e t = 0, . . . , n,

P[X1= x1, . . . , X n = xn|T =t] = 0, ni=1 xi=t,P[X1=x1,...,Xn=xn,T=t]P[T=t]

,n

i=1 xi =t;

ou seja, sendon

i=1 xi = t, temos que

P[X1= x1, . . . , X n = xn|T =t] = P[X1= x1, . . . , X n = xn, T =t]P[T =t]

= P[X1= x1, . . . , X n = xn]

nt

t(1 )nt =

P[X1= x1] . . . P [Xn = xn]nt

t(1 )nt

=x1(1 )1x1 . . . xn(1 )1xn

ntt(1 )nt =

t(1 )nt

ntt(1 )nt =

1

nt,

pois sabemos queT Binomial(n, ). Portanto

P[X1= x1, . . . , X n = xn|T =t] =

0, n

i=1 xi=t,1

(nt),n

i=1 xi =t,


27/126

2.2 Estatsticas Suficientes 21

de modo que, pela Definicao 2.2.1,T = ni=1 Xi e suficiente para .

Exemplo 2.2.2. Consideremos novamente a situacao do Exemplo 2.2.1, comn = 3 e T = X1+ 2X2+ X3. Vamos verificar se T e suficiente. Notemos quepara X1= 1, X2= 0, X3= 1, temos que T= 2. Logo

(2.2.1) P[X1= 1, X2= 0, X3= 1|T= 2] = P[X1= 1, X2= 0, X3= 1]P[X1+ 2X2+ X3= 2]

= P[X1= 1]P[X2= 0]P[X3= 1]

P[X1= 1, X2= 0, X3= 1] + P[X1= 0, X2= 1, X3= 0]

= 2(1 )

2(1 ) + (1 )2 =.

Portanto, como a probabilidade (2.2.1) depende de , conclumos que T naoe suficiente para , pois, nesse caso, a distribuicao condicional de X1, . . . , X ndado Tdepende de.

Exemplo 2.2.3. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao dePoisson com parametro . Vamos verificar se T =

ni=1 Xi e suficiente para

. Sabemos que T =n

i=1 Xi tem distribuicao de Poisson com parametron .Assim, paraxi = 0, 1, 2,...,i = 1, . . . , ne t = 0, 1,..., temos

P[X1= x1, . . . , X n = xn|T =t] =

0, n

i=1 xi=t,P[X1=x1,...,Xn=xn]

P[T=t] ;

ni=1 xi =t;

de modo que seni=1 xi =t, entao,P[X1= x1, . . . , X n = xn|T =t] = P[X1= x1] . . . P [Xn = xn]

P[T =t]

=ex1

x1! . . .

exn

xn!

t!

en(n)t

= t!

x1!, . . . , xn!

1

nt,

que e independente de . Segue, entao, da Definicao 2.2.1 quen

i=1 Xi e sufi-ciente para .

Notemos que a Definicao 2.2.1 permite, apenas, que possamos verificar sedeterminada estatstica e ou nao suficiente. Contudo nao pode ser utilizadacomo um metodo para obtencao de estatsticas suficientes. Um procedimentopara a obtencao de estatsticas suficientes e o criterio da fatoracao que apre-sentamos a seguir.


28/126


Teorema 2.2.1.(Criterio da Fatoracao de Neyman) Sejam X1, . . . , X n uma

amostra aleatoria da distribuicao da variavel aleatoriaXcom funcao de densi-dade (ou de probabilidade) f(x|) e funcao de verossimilhancaL(; x). Temos,entao, que a estatstica T = T(X1, . . . , X n) e suficiente para , se e somentese pudermos escrever

(2.2.2) L(; x) = h(x1, . . . , xn)g(T(x1, . . . , xn)),

onde h(x1, . . . , xn) e uma funcao que depende apenas de x1, . . . , xn (nao de-pende de) eg(T(x1, . . . , xn)) depende de e dex1, . . . , xn somente atravesdeT.Prova. Vamos provar o teorema apenas para o caso discreto. Nesse caso,L(; x) = P[X= x]. Suponhamos em primeiro lugar que (2.2.2) esteja verifi-cada e entao,

P[X= x] = f(x|) =h(x)g(T(x)).Como

P[X= x|T(X) = t] =

0; T(x) =tP [X=x,T(X)=t]

P [T(X)=t] ; T(x) = t,

quando T(x)= t, P[X = x|T(x) = t] = 0, que e independente de , logo acondicao da Definicao 2.2.1 esta verificada. Quando T(x) =t, o evento{X=x, T(X) = t} esta contido no evento{T(x) = t}, entao

P[X= x, T(X) = t]

P[T =t] =

P[X= x]

P[T =t]

=

h(x)g(t){x;T(x)=t} h(x)g(t) = h(x){x;T(x)=t} h(x) ,que e independente de , portantoT =T(X) e suficiente para .

Suponhamos agora que T =T(X) seja suficiente, de modo que a distribuicaocondicional de Xdado T e independente de . Sendo T(x) = t, temos que

f(x|) =P[X= x] =P[X= x, T(x) =t]=P[X= x|T(x) =t]P[T(X) = t] =h(x)g(t),

de modo que (2.2.2) esta provada.

Exemplo 2.2.4. Consideremos novamente o modelo de Poisson do Exemplo2.2.3. Temos, entao, que

L(; x) =ni=1

f(xi|)

=ex1

x1! . . .

exn

xn! =

1

x1! . . . xn!enx1+...+xn .


29/126

2.3 Estatsticas Conjuntamente Suficientes 23

Portanto, tomando

h(x1, . . . , xn) = 1ni=1 xi!

ni=1

I{0,1,2,...}(xi) e g(T(x)) = en

ni=1

xi ,

temos, pelo criterio da fatoracao, que T(X) =n

i=1 Xi e suficiente para ,onde X = (X1, . . . , X n).

Exemplo 2.2.5. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX U(0, ). Conforme visto no Captulo 1, temos que (veja o Modelo 1.1.5)

f(x|) =1

I[0,](x).

Temos entaoL(; x) =

1

I[0,](x1) . . .

1

I[0,](xn)

= 1

nI[0,](x(n))I[0,x(n)](x(1)),

de modo que, pelo criterio da fatoracao,X(n) e uma estatstica suficiente para.

Exemplo 2.2.6. Sejam X1, . . . , X n uma amostra aleatoria da distribuicaoN(, 1). Temos, entao, que

L(; x) = 1

2e

(x1)2

2 . . . 1

2e

(xn)2

2

= 1

2

nen

i=1

(xi)2

2

=

1

2

nen

i=1

x2i2 e

n2

2 +n

i=1xi .

Portanto, pelo criterio da fatoracao, T(X) =n

i=1 Xi e uma estatstica sufi-ciente para.

2.3 Estatsticas Conjuntamente Suficientes

Na secao anterior vimos o caso uniparametrico, ou seja, a distribuicao dosdados depende de um unico parametro . Nesta secao consideramos o casomultiparametrico em que e um vetor de parametros, que denotamos por .Em muitas situacoes, o modelo estatstico depende de mais de um parametro.E o caso do modelo N(, 2), em que = (, 2), sendo e 2 desconhecidos.


30/126


E o caso tambem do modelo Gama(, ), em que e sao desconhecidos e,

portanto, = (, ).

Teorema 2.3.1. (Criterio da fatoracao. Caso Multiparametrico) SejamX1, . . .,Xn uma amostra aleatoria da distribuicao da variavel aleatoriaX, com funcaode densidade (ou de probabilidade) f(x|). Temos, entao, que a estatstica r-dimensional T = (T1, . . . , T r), Ti = Ti(X) e conjuntamente suficiente para se

L(; x) = f(x1, . . . , xn|) =ni=1

f(xi|) = h(x1, . . . , xn)g(T1(x), . . . , T r(x)),

ondeh(x1, . . . , xn) e uma funcao que nao depende de eg(T1(x), . . . , T r(x))depende de e dex= (x1, . . . , xn) somente por meio de(T1(x), . . . , T r(x)).

No caso do Teorema 2.3.1, dizemos que a estatstica suficiente e de dimensaor, que em muitos casos e tambem a dimensao do espaco parametrico . Masexistem situacoes em que tal fato nao ocorre, ou seja, a dimensao de e menorque r .

Exemplo 2.3.1. Sejam X1, . . . , X n uma amostra aleatoria de tamanho n davariavel aleatoriaX N(, 2), onde e 2 sao desconhecidos. Temos, entao,que = (, 2). Nesse caso, a funcao de verossimilhanca pode ser escrita como

L(; x) =

1

2

nen

i=1

(xi)2

22

= 12n 1

ne

122ni=1x2i+ 2ni=1xin 222 ,

com < < e 2 >0. Tomando h(x1, . . . , xn) = 1/(

2)n e

g(t1(x), t2(x)) = 1

ne

122

ni=1

x2i+

2

ni=1

xin 2

22 ,

temos, de acordo com o criterio da fatoracao, que T= (n

i=1 Xi,n

i=1 X2i) e

conjuntamente suficiente para (, 2).

Definicao 2.3.1. Dizemos que duas estatsticas T1 e T2 sao equivalentes seexistir uma relacao 1:1 entre elas.

Em outra palavras,T1 eT2sao equivalentes se T1 puder ser obtida a partirde T2 e vice-versa. Nesse caso, temos que, se T1 e suficiente para , entao T2tambem e suficiente para . Esse resultado vale tambem para o caso multidi-mensional.


31/126

2.4 Famlias Exponenciais 25

Exemplo 2.3.2. Consideremos novamente a situacao do Exemplo 2.2.6. Vi-

mos que T1 =ni=1 Xi e suficiente para . Como T1 e equivalente a T2 =ni=1 Xi/n= X, temos que T2= Xtambem e suficiente para .

Exemplo 2.3.3.Consideremos novamente a situacao do Exemplo 2.3.1. Nao edifcil verificar queT1= (

ni=1 Xi,

ni=1 X

2i) eT2= (X, S

2) sao equivalentes.ComoT1 e suficiente para(Exemplo 2.3.1), temos que T2tambem e suficientepara = (, 2).

Exemplo 2.3.4. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX com distribuicao Gama(, ). Dizemos que X Gama(, ), se sua f.d.p.e dada por

f(x|, ) = x1ex

() , x >0, , >0.

onde (.) e a funcao gama definida por (t) = 0

xt1exdx, para t > 0.Entao, = (, ). Temos que a funcao de verossimilhanca correspondente aamostra observada e dada por

L(; x) = n

n()

ni=1

x1i en

i=1xiI(0,)(x),

> 0, > 0. Portanto, pelo criterio da fatoracao, temos que T1 =(n

i=1 Xi,n

i=1 Xi) e conjuntamente suficiente para . Notemos que a es-tatstica T2= (

ni=1log Xi, X) e equivalente a T1.

2.4 Famlias Exponenciais

Muitos dos modelos estatsticos considerados nas secoes anteriores podem serconsiderados como casos especiais de uma famlia mais geral de distribuicoes .

Definicao 2.4.1. Dizemos que a distribuicao da variavel aleatoriaXpertencea famlia exponencial unidimensional de distribuicoes, se pudermos escreversua f.p. ou f.d.p. como

(2.4.1) f(x|) = ec()T(x)+d()+S(x), x Aondec, d sao funcoes reais de; T, S sao funcoes reais dex eA nao dependede.

Notemos que no caso em queX e contnua, para quef(x|) em (2.4.1) sejauma funcao de densidade, e necessario que

A

ec()T(x)+d()+S(x)dx= 1,


32/126


ou seja, A

ec()T(x)+S(x)dx= ed(),

de modo que d() esta associado a constante de normalizacao da densidade.Resultado similar vale para o caso em queX e uma variavel aleatoria discreta.

Exemplo 2.4.1. Seja X uma variavel aleatoria com distribuicao de Bernoul-li(). Entao, podemos escrever

f(x|) =x(1 )1x =

1 x

(1 ) = ex log( 1 )+log(1), x= {0, 1}.

Portanto a distribuicao de X pertence a famlia exponencial unidimensionalcom

c() = log 1

, d() = log(1 ),T(x) = x, S(x) = 0, A= {0, 1}.

Exemplo 2.4.2. Seja X uma variavel aleatoria com distribuicao N(, 1).Temos, entao, que

f(x|) = 12

e(x)2

2 = ex2

2 x2

2log2.

Portanto a distribuicao da variavel aleatoriaX pertence a famlia exponencialunidimensional com

c() =, d() = 2

2 ,

T(x) = x e S(x) = x2

2 log 2, A= IR.

Outras distribuicoes que podem ser colocadas na forma da famlia exponen-cial unidimensional sao, por exemplo, binomial, de Poisson e exponencial. Oproximo resultado estabelece que amostras aleatorias de famlias exponenciaisunidimensionais sao tambem membros da famlia exponencial unidimensional.

Teorema 2.4.1. Sejam X1, . . . , X n uma amostra aleatoria de tamanho n davariavel aleatoriaX, com funcao de densidade (ou de probabilidade) dada por(2.4.1). Entao, a distribuicao conjunta deX1, . . . , X n e dada por

(2.4.2) f(x1, . . . , xn|) = ec()n

i=1T(xi)+d

()+S(x), x An,

que tambem e da famlia exponencial com T(x) =n

i=1 T(xi), c() = c(),

d() =nd(), eS(x) =n

i=1 S(xi).


33/126

2.4 Famlias Exponenciais 27

Notemos de (2.4.2) que considerando

h(x1, . . . , xn) = e

n

i=1S(xi)

ni=1

IA(xi), e g(T) = ec()

n

i=1T(xi)+nd(),

temos, pelo criterio da fatoracao, que a estatstica T(X) =n

i=1 T(Xi) e sufi-ciente para .

Definicao 2.4.2. Dizemos que a distribuicao da variavel aleatoria (ou de umvetor aleatorio) X pertence a famlia exponencial de dimensao k se a funcaode densidade (ou de probabilidade) deX e dada por

(2.4.3) f(x|) = ek

j=1cj()Tj(x)+d()+S(x), x A,

ondecj, Tj, d eS sao funcoes reais, j = 1, . . . , k, e como no caso unidimen-sional, d() esta associado a constante de normalizacao de (2.4.3) e A naodepende de.

Tambem, no caso de dimensao k, amostras de famlias exponenciais de di-mensao k tem distribuicoes que sao membros da famlia exponencial de di-mensaok. Para uma amostraX1, . . . , X n de uma variavel aleatoria com funcaode densidade (ou de probabilidade) dada por (2.4.3), temos que a funcao dedensidade (ou de probabilidade) conjunta de X1, . . . , X n e dada por

f(x1, . . . , xn|) = ek

j=1cj ()

ni=1

Tj(xi)+d()+S(x)

,

onde

Tj(x) =ni=1

Tj(xi), cj () =cj(),

S(x) =ni=1

S(xi), d() =nd().

Nesse caso, (T1 , . . . , T k ) e conjuntamente suficiente para .

Exemplo 2.4.3. Consideremos mais uma vez a situacao do Exemplo 2.3.1.Nesse caso, temos que = (, 2), com

(2.4.4) f(x|) =

1

2e

(x)2

22 ,

= e 122

x2+

2x 2

22 12 log 2log

2,

que e da famlia exponencial bidimensional com


34/126


T1(x) =x, T2(x) =x2, c1() =

2, c2() =

1

22,

d() = 22

12

log 2, S(x) = log

2, A= IR.

A distribuicao de uma amostra aleatoria da densidade (2.4.4) e tambem dafamlia exponencial com T1(X) =

ni=1 Xi e T2(X) =

ni=1 X

2i, que sao con-

juntamente suficientes para (, 2).

Exemplo 2.4.4. Vamos considerar agora o caso em que o vetor (X, Y) e dis-tribudo de acordo com a distribuicao normal bivariada com = (x, y , 2x,

2y ,

), que denotamos por

XY N2xy ; 2x xy

xy 2y ,e com densidade

(2.4.5) f(x, y|) = 1x

1y

2(1 2) e 1

2(12)

(xx)

2

2x 2xy(xx)(yy)+

(yy )2

2y

.

A densidade pode ser escrita como

f(x, y|) = e1

(12)

x2x yxy

x+ 1

(12)

y

2y xxy

y

e 1

2(12)2xx2 1

2(12)2yy2+

(12)xyxy

e

2x

2(12)2x

2y

2(12)2y+

xy

(12)xylogxy12log 2

,

que corresponde a uma densidade na forma da famlia exponencial de dimensao5, em que

c1() = 1

(1 2)

x2x

yxy

, T1(x, y) = x,

c2() = 1

(1 2)

y2y

xxy

, T2(x, y) = y,

c3() = 12(1 2)2x

, T3(x, y) =x2,

c4() = 12(1 2)2y

, T4(x, y) =y2,

c5() =

(1 2)xy , T5(x, y) = xy.


35/126

2.5 Estimadores Baseados em Estatsticas Suficientes 29

As funcoes d() eS(x, y) sao obtidas de maneira similar.

Consideremos uma amostra aleatoria (X1, Y1), . . . , (Xn, Yn) da densidadenormal bivariada (2.4.5). Temos, portanto, que a estatstica

T1=

ni=1

Xi,ni=1

Yi,ni=1

X2i,ni=1

Y2i ,ni=1

XiYi

e conjuntamente suficiente para = (x, y, 2x, 2y , ). Notemos que a es-

tatsticaT2= (X , Y , S

2x, S

2y , Sxy),

onde S2x =n

i=1(XiX)2/n, S2y =n

i=1(Yi Y)2/n e Sxy =n

i=1(XiX)(Yi Y)/n e equivalente a T1 e, portanto, e tambem conjuntamente sufi-ciente para . Estimadores comumente considerados para e que sao funcoesde T2 sao

(2.4.6) x= X , y =Y , 2x =

ni=1

(Xi X)2/n, 2y =ni=1

(Yi Y)2/n,

e

(2.4.7) =

ni=1(Xi X)(Yi Y)n

i=1(Xi X)2n

i=1(Yi Y)2.

O estimador e conhecido como coeficiente de correlacao de Pearson. Podemosmostrar que os estimadores de dados por (2.4.6) e (2.4.7) sao estimadores de

maxima verossimilhanca.

2.5 Estimadores Baseados em Estatsticas Suficientes

Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria Xcom funcaode densidade (ou de probabilidade) f(x|). Seja T = T(X1, . . . , X n) uma es-tatstica suficiente para e S = S(X1, . . . , X n) um estimador de que nao efuncao da estatstica suficiente T. Entao,

(2.5.1) = E[S|T],

e um estimador de , ou seja, e uma funcao de T que nao depende de ,pois, sendo T suficiente, a distribuicao condicional de X1, . . . , X n dado T eindependente de . Notemos que S= S(X1, . . . , X n) e uma funcao apenas deX1, . . . , X n. Temos, tambem, que se S e um estimador nao viciado de , entao e tambem nao viciado para (veja o Exerccio 2.8). Contudo o resultado mais


36/126


importante, conhecido como Teorema de Rao-Blackwell, estabelece que, se S e

um estimador nao viciado de , entao,

(2.5.2) V ar[] V ar[S],para todo . Para provar esse resultado, notemos que

V ar[S] =E{V ar[S|T]} + V ar{E[S|T]}

V ar{E[S|T]} =V ar[],pois E{V ar[S|T]} 0. Portanto temos de (2.5.2) que o estimador baseadona estatstica suficiente T apresenta uma variancia menor (ou igual) que avariancia do estimador nao viciado S. Desse modo, qualquer estimador S que

nao e funcao de uma estatstica suficiente pode ser melhorado pelo procedi-mento (2.5.1).

Exemplo 2.5.1. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX Poisson(). Queremos estimar P(X = 0 ) = = e. Temos que aestatstica T =

ni=1 Xi e suficiente para . Consideremos

S=

1, X1= 0,0, caso contrario.

Temos queE(S) = P(X1= 0) = e, logo S e nao viciado para e. Notemos

que, para t = 0, 1, 2, ...,

E[S|T =t] =P(X1= 0|T =t) = P(ni=2 Xi = t)P(X1= 0)P(ni=1 Xi = t)

=e(n1)((n 1))t

t! e

t!

en(n)t =

n 1

n

t,

portanto de acordo com (2.5.1) temos que o estimador

=

n 1

n

ni=1

Xi

e nao viciado e e melhor que o estimadorS, pois apresenta E QM menor.

A seguir apresentamos a definicao de estatstica completa que, em conjunto

com a definicao de suficiencia, possibilita a obtencao do estimador otimo, istoe, o estimador nao viciado de variancia uniformemente mnima.

Definicao 2.5.1. Uma estatsticaT =T(X1, . . . , X n) e dita ser completa emrelacao a famliaf(x|) : , se a unica funcao realg , definida no domnio


37/126

2.5 Estimadores Baseados em Estatsticas Suficientes 31

deT, tal queE[g(T)] = 0, para todo e a funcao nula, isto e, g(T) = 0 com

probabilidade 1.

Exemplo 2.5.2.Consideremos novamente o Exemplo 2.2.1. Temos que

E[g(T)] =n

x=0

g(x)

n

x

x(1 )nx = 0 para todo ,

se e somente se

(2.5.3)n

x=0

g(x)

n

x

x = 0, para todo

onde = /(1 ). Como o lado esquerdo de (2.5.3) e um polinomio em degraun temos que g(x) = 0 para todo x. PortantoT = ni=1 Xi e completa emrelacao a famlia Binomial.Exemplo 2.5.3. Sejam X1, X2 uma amostra aleatoria da variavel X Bernoulli(). Seja T = X1 X2. Temos que E(T) = E(X1 X2) = 0, logoexiste a funcaog(T) =Ttal queE(g(T)) = 0, masg(T) = 0 com probabilidade1. PortantoT =X1 X2 nao e completa.

A demonstracao do teorema a seguir pode ser encontrada em Lehmann(1986).

Teorema 2.5.2. Suponha queX tenha distribuicao da famlia exponencial k-dimensional (como definida em 2.4.2). Entao, a estatstica

T(X) = ni=1

T1(Xi), . . . ,ni=1

Tk(Xi)e suficiente para . T(X) sera tambem completa desde que o domnio devariacao de(c1(), . . . , ck())contenha um retangulo k-dimensional.

No caso uniparametrico, e necessario que o domnio de variacao de c()contenha um intervalo da reta. No caso bidimensional, um quadrado e assimpor diante.

Teorema 2.5.3.(Lehmann-Scheffe) SejamX1, . . . , X n uma amostra aleatoriada variavel aleatoria X com f.d.p. (ou f.p.), f(x|). Seja T uma estatsticasuficiente e completa. SejaSum estimador nao viciado de. Entao= E(S

|T)

e o unico estimador nao viciado de baseado emTe e o estimador nao viciadode variancia uniformemente mnima (ENVVUM) para.

Prova.De (2.5.1) e (2.5.2) temos que e um estimador nao viciado de e que,na procura de ENVVUMs para , basta procurar entre os que sao funcao de


38/126


T(pois os que nao sao podem ser melhorados). Falta provar, entao, que ha um

unico estimador nao viciado de que e funcao de T. Para isso, suponha queexistam1 e 2, ambos funcoes de T, tais que

E(1) = E(2) = ,

de modo que E(12) = 0 e como T e completa, 12 = 0, e portanto1= 2 com probabilidade 1.

Exemplo 2.5.4. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao dePoisson com parametro. Pelos Exemplos 2.2.4 e 2.5.2 temos que T =

ni=1 Xi

e uma estatstica suficiente e completa. Como X e um estimador nao viciadode e e funcao de T, e o ENVVUM.

2.6 Exerccios

2.1. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X N(0, 2).(i) Encontre o limite inferior da variancia dos estimadores nao viciados de2.(ii) Encontre uma estatstica suficiente para 2.(iii) Obtenha a partir desta estatstica um estimador nao viciado para2.(iv) Verifique se este estimador e eficiente.

2.2. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X Binomial(2, ).(i) Encontre o limite inferior da variancia dos estimadores nao viciados de.(ii) Encontre uma estatstica suficiente para .(iii) Obtenha um estimador nao viciado para que seja funcao da estatsticasuficiente.(iv) Verifique se o estimador e eficiente.

2.3. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao da variavelaleatoria Xcom funcao densidade de probabilidade dada por

f(x|) =x1, 0< x 0.(i) Mostre que a f.d.p. pertence a famlia exponencial.(ii) Encontre o limite inferior da variancia dos estimadores nao viciados de .(iii) Encontre uma estatstica suficiente para e sua distribuicao.

(iv) Sugira um estimador nao viciado para que seja funcao da estatsticasuficiente e verifique se e eficiente.

2.4. Sejam X1, X2uma amostra aleatoria da variavel aleatoria X Poisson().Mostre que T =X1+ 2X2 nao e suficiente para .


39/126

2.6 Exerccios 33

2.5. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X com

funcao de densidade (ou de probabilidade) f(x|) para a qual as condicoesde regularidade estao satisfeitas. Seja um estimador nao viciado para g().Mostre que

V ar() (g())2

nE

log f(X|)

2 .2.6.Sejaf(x|) uma funcao densidade para a qual as condicoes de regularidadeestao satisfeitas. Mostre que

E

log f(X|)

2= E

2 log f(X|)

2

.

2.7. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X comf.d.p. dada por

f(x|) = e(x), x > , >0.(i) Encontre uma estatstica suficiente para .(ii) Baseado nesta estatstica, obtenha um estimador nao viciado para .

2.8.Mostre que se S e um estimador nao viciado de, entaodado por (2.5.1)tambem e nao viciado para .

2.9. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X N(, 1).

(i) Mostre que o estimador = X

2

1/n e nao viciado para g () = 2

.(ii) Existe ENVVUM para 2?(iii) Encontre o limite inferior da variancia dos estimadores nao viciados deg() =2 e verifique se e eficiente.

2.10. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria. XBernoulli(). Obtenha o ENVVUM para (1 ).Sugestao: verifique seS2 = n(n1)X(1 X) e nao viciado para(1 ).2.11. Sejam X1, . . . , X n uma amostra aleatoria da variavel aleatoria X comdistribuicao geometrica com parametro , isto e,

f(x|) =(1 )x, x= 0, 1, 2, ..., 0<


40/126


(i) Encontre uma estatstica conjuntamente suficiente para e2.

(ii) Baseado nessa estatstica, obtenha os ENVVUM para e para 2.


41/126

3. Metodos de Estimacao

No captulo anterior consideramos um criterio para verificar se determinadoestimador e ou nao eficiente. Contudo tal procedimento nao e um metodo quepossibilita, em geral, a obtencao de estimadores em situacoes especficas. Vimostambem que todo bom estimador deve ser funcao de uma estatstica suficiente.Neste captulo vamos considerar alguns metodos que possibilitam a obtencaode estimadores em situacoes especficas. O primeiro metodo que consideramos eo metodo de maxima verossimilhanca em que estimadores sao obtidos a partirda maximizacao da funcao de verossimilhanca. O segundo metodo consideradoe o metodo dos momentos em que estimadores sao obtidos igualando-se osmomentos amostrais aos correspondentes momentos populacionais.

3.1 O Metodo de Maxima Verossimilhanca

O conceito de funcao de verossimilhanca, enunciado a seguir, e central na teoriada verossimilhanca.

Definicao 3.1.1. Sejam X1, . . . , X n uma amostra aleatoria de tamanho n davariavel aleatoria X com funcao de densidade (ou de probabilidade) f(x|),com , onde e o espaco parametrico. A funcao de verossimilhanca decorrespondente a amostra aleatoria observada e dada por

(3.1.1) L(; x) =ni=1

f(xi|).

Definicao 3.1.2. O estimador de maxima verossimilhanca de e o valor que maximiza a funcao de verossimilhancaL(; x).

O logaritmo natural da funcao de verossimilhanca de e denotado por

(3.1.2) l(; x) = log L(; x).

Nao e difcil verificar que o valor de que maximiza a funcao de verossimi-lhancaL(; x), tambem maximiza l(; x) dada por (3.1.2). Alem disso, no caso


42/126

36 3. Metodos de Estimacao

uniparametrico onde e um intervalo da reta el(; x) e derivavel, o estimador

de maxima verossimilhanca pode ser encontrado como a raiz da equacao deverossimilhanca

(3.1.3) l(; x) = l(; x)

= 0.

Em alguns exemplos simples, a solucao da equacao de verossimilhanca pode serobtida explicitamente. Em situacoes mais complicadas, a solucao da equacao(3.1.3) sera em geral obtida por procedimentos numericos. Para se concluir quea solucao da equacao (3.1.3) e um ponto de maximo, e necessario verificar se

(3.1.4) l(; x) = 2 log L(; x)

2 |= < 0.

Em situacoes em que e discreto ou em que o maximo de l(; x) ocorre nafronteira de (Exemplo 1.3.8), o estimador de maxima verossimilhanca naopode ser obtido a partir da solucao de (3.1.3). Em tais situacoes, o maximo eobtido a partir da inspecao da funcao de verossimilhanca.

Exemplo 3.1.1. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao davariavel aleatoriaX N(, 1). Nesse caso, a funcao de verossimilhanca e dadapor

L(; x) =

1

2

ne

12

ni=1

(xi)2 ,

com = {; < < }. Como

l(; x) = n log 2 12

ni=1

(xi )2,

segue de (3.1.3) que a equacao de verossimilhanca e dada por

ni=1

(xi ) = 0,

logo o estimador de maxima verossimilhanca de e dado por

= 1

n

n

i=1Xi = X .

Nao e difcil verificar nesse caso que (3.1.4) esta satisfeita.EntaoX, alem de ser eficiente (Exemplo 2.1.1) e funcao da estatstica sufi-

ciente, e tambem estimador de maxima verossimilhanca.


43/126

3.1 O Metodo de Maxima Verossimilhanca 37

Exemplo 3.1.2. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoria

X Bernoulli(). Nesse caso, a funcao de verossimilhanca de e dada por

L(; x) =n

i=1xi(1 )n

ni=1

xi ,

com = {; 0< 0}.Nesse caso, a equacao de verossimilhanca (3.1.3) nao levaa nenhum estimador para . Por outro lado, o grafico da funcao de verossimi-lhanca de e dado pela Figura 3.1.

Como a funcao de verossimilhanca (3.1.5) e nula para < x(n) e vale 1/n

para X(n), temos que o maximo deL(; x) e dado por= X(n), que e umaestatstica suficiente para. Nesse caso o estimador de maxima verossimilhancade e viciado (ver Exemplo 1.3.8.).


44/126


Figura 3.1.Funcao de Verossimilhanca

0

L(,x)

n

nx

)(

1

)(nx

No caso discreto, o estimador de maxima verossimilhanca de , , pode serinterpretado como o valor de que maximiza a probabilidade de se observar aamostra que foi selecionada. O exemplo a seguir ilustra bem esse fato.

Exemplo 3.1.4. Temos uma caixa com bolas brancas e vermelhas. Sabe-seque a proporcao de bolas vermelhas na caixa e 1/3 ou 2/3. Portanto =

{1/3, 2/3}. Para obtermos informacao sobre , uma amostra de n = 3 bolase observada com reposicao e apresenta bola vermelha na primeira extracao ebranca na segunda e na terceira extracoes. Definindo

Xi =

1, se a i-esima retirada apresenta bola vermelha0, se a i-esima retirada apresenta bola branca,

parai = 1, 2, 3, temos que a funcao de verossimilhanca deassociada a amostraobservada e dada por

L(; x) =P[X1= 1, X2= 0, X3= 0] =(1 )(1 ) =(1 )2.

Como

L13 ; x = 13 232

= 427

e

L

2

3; x

=

2

3

1

3

2=

2

27,


45/126


temos que a estimativa de maxima verossimilhanca de e dada por = 1/3,

pois

L

1

3; x

> L

2

3; x

.

O exemplo que apresentamos a seguir ilustra uma situa cao em que o esti-mador de maxima verossimilhanca nao e unico.

Exemplo 3.1.5. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao davariavel aleatoriaX U( 1/2, + 1/2), isto e

f(x|) =I[1/2;+1/2](x), >0. Temos, entao, que

L(; x) = I[1/2;+1/2](x1) . . . I [1/2;+1/2](xn)=I[x(n)1/2;x(1)+1/2](),

pois 1/2 xi + 1/2, i= 1, . . . , n ,

se e somente se x(1)+ 1/2 e x(n) 1/2 .

A Figura 3.2 apresenta o grafico da funcao L(; x).

Figura 3.2.Funcao de Verossimilhanca

0

1

L(,x)

x

(n)-1/2 x(1)+1/2


46/126


ComoL(; x) e nula para < x(n)

1/2 e para > x(1)+ 1/2 e constante

no intervalo [x(n) 1/2; x(1)+ 1/2], temos que qualquer ponto desse intervaloe um estimador de maxima verossimilhanca de . Em particular,

=X(1)+ X(n)

2

e um estimador de maxima verossimilhanca de .Em alguns casos, principalmente quando a verossimilhanca esta associada

a modelos mais complexos, a funcao de verossimilhanca nao apresenta solucaoanaltica explcita. Em tais casos, os estimadores de maxima verossimilhancapodem ser obtidos por meio de metodos numericos. Vamos denotar por U() afuncao escore, ou seja,

U() = log L(; x)

,

temos que, para o estimador de maxima verossimilhanca,

U() = 0,

de modo que, expandindo U() em serie de Taylor em torno de um ponto 0,obtemos

0 =U() =U(0) + ( 0)U(0),ou seja, chegamos a equacao

(3.1.6) =0 U(0)U(0)

.

Da equacao (3.1.6), obtemos o procedimento iterativo (Newton-Raphson)

(3.1.7) j+1= j U(j)U(j)

,

que e iniciado com o valor0 e entao um novo valor 1 e obtido a partir de(3.1.7) e assim por diante, ate que o processo se estabilize, ou seja, para um

dado pequeno,|j+1 j | < . Nesse caso, o ponto em que o processose estabiliza e tomado como o estimador de maxima verossimilhanca de .Em alguns casos, a substituicao de U(j) em (3.1.7) por E[U(j)], ou seja, ainformacao de Fisher em j correspondente a amostra observada multiplicadapor

1, apresenta significativa simplificacao no procedimento. Esse metodo e

conhecido como metodo do escore. O exemplo a seguir ilustra uma aplicacaode tal procedimento.

Exemplo 3.1.6. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao davariavel aleatoriaXcom funcao de densidade dada por


47/126


(3.1.8) f(x|) =

1

2(1 + x);

1

x

1,

1

1.

Nesse caso,

L(; x) = 1

2n

ni=1

(1 + xi),

de modo que

U() = log L(; x)

=

ni=1

xi1 + xi

.

Assim

U() = ni=1

x2i(1 + xi)2

,

de modo que o procedimento iterativo (3.1.7) se reduz a

(3.1.9) j+1=j+

ni=1

xi1+jxin

i=1x2i

(1+jxi)2

.

Podemos verificar que a informacao de Fisher de e dada, para= 0, por

IF() = 1

23

log

1 +

1

2

,

de modo que um procedimento alternativo a (3.1.9) e dado por

(3.1.10) j+1= jni=1

xi1+jxi

nIF(j) .

Uma amostra de tamanho n = 20 e gerada a partir da densidade (3.1.8) com= 0, 4. Os dados foram gerados a partir do metodo da funcao de distribuicao,ou seja, sendo F(X) = U, temos que U U(0, 1). Nesse caso, como

F(x) =

x1

1

2(1 + y)dy =

x + 1

2 +

(x2 1)4

,

temos que seU U(0, 1), entao,

(3.1.11) x=1 + 2

1/4 (1/2 /4 u)

tem distribuicao com funcao de densidade dada por (3.1.8), ou seja, para ugerado a partir da U(0, 1), x obtido a partir de (3.1.11) e um valor gerado apartir da distribuicao com funcao de densidade dada por (3.1.8). As observacoesgeradas sao dadas na Tabela 3.1.


48/126


Tabela 3.1. n = 20 observacoes da densidade (3.1.8) com = 0, 4

0,3374 0,9285 0,6802 -0,2139 0,1052-0,9793 -0,2623 -0,1964 0,5234 -0,0349-0,6082 0,7509 0,3424 -0,7010 -0,26050,4077 -0,7435 0,9862 0,9704 0,5313

Escrevendo um programa em Fortran (outra linguagem poderia tambem serfacilmente utilizada) para calcular o estimador de maxima verossimilhanca,obtemos, apos 10 iteracoes do programa, a Tabela 3.2 em que a segunda colunacorresponde ao procedimento dado em (3.1.9) e a terceira coluna correspondeao procedimento (3.1.10). Como valor inicial para o procedimento iterativo foiusado 0= X= 0, 1282.

Tabela 3.2. Valores de obtidos nas 10 iteracoes

Iteracao Usando (3.1.9) Usando (3.1.10)1 0,128188 0,1281882 0,358745 0,3718613 0,351170 0,3491634 0,351140 0,3513285 0,351140 0,3511236 0,351140 0,3511427 0,351140 0,3511408 0,351140 0,3511409 0,351140 0,351140

10 0,351140 0,351140

3.2 Propriedades dos Estimadores de Maxima

Verossimilhanca

O teorema a seguir apresenta uma propriedade importante dos estimadores demaxima verossimilhanca, estabelecendo que o estimador de maxima verossimi-lhanca e funcao de uma estatstica suficiente.

Teorema 3.2.1. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX com funcao de densidade (ou de probabilidade) f(x|). SejaT =T(X1, . . . ,Xn) uma estatstica suficiente para . Entao o estimador de maxima verossi-

milhanca (se existir) e funcao deT.

Prova.De acordo com o criterio da fatoracao, temos que seT e suficiente para, entao,

L(; x) = h(x)g(T(x)),


49/126

3.2 Propriedades dos Estimadores de Maxima Verossimilhanca 43

onde g(T(x)) depende de x somente atraves de T. Como h(x) e constante

com relacao a , temos que maximar L(; x) com relacao a e equivalente amaximizar g(T(x)) com relacao a . Como g(T(x)) depende de x somente

atraves de T, temos que sera obrigatoriamente uma funcao de T. Outraspropriedades sao apresentadas nas subsecoes seguintes.

3.2.1 Invariancia

A seguir apresentamos uma propriedade bastante importante do metodo demaxima verossimilhanca. Seja g(.) uma funcao real 1 : 1 (inversvel) definidaem .

Teorema 3.2.2.(O princpio da invariancia.) SejamX1, . . . , X n uma amostra

aleatoria da variavel aleatoriaXcom funcao de densidade (ou de probabilidade)f(x|). Se e um estimador de maxima verossimilhanca de, entaog () e umestimador de maxima verossimilhanca deg().

Prova. Provamos o resultado para o caso em que g e 1:1. Sendo g(.) umafuncao 1 : 1, temos queg (.) e inversvel, de modo que = g1(g()). Assim

(3.2.1) L(; x) =L(g1(g()); x),

de modo que maximiza os dois lados de (3.2.1). Logo

= g1(

g()),

portanto g() =g(),ou seja, o estimador de maxima verossimilhanca de g() eg ().

Exemplo 3.2.1. Sejam X1, . . . , X n uma amostra aleatoria de tamanho n davariavel aleatoria X Bernoulli(). Nesse caso, o parametro de interesse eg() =(1). De acordo com o princpio da invariancia, temos que o estimadorde maxima verossimilhanca deg() e dado por

(3.2.2) g() = X(1 X).

De acordo com o Exerccio 2.10 temos que o estimador dado em (3.2.2) e viciadopara g (). Por outro lado, usando o Exerccio 2.10, temos que

E[g()] g() = 1n

(1 ),

que decresce a medida que n aumenta.


50/126


Exemplo 3.2.2. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao da

variavel aleatoria X N(, 1). Vimos que = X e o estimador de maximaverossimilhanca de . Suponhamos que queremos estimar

g() = P[X 0] = ().Pelo princpio da invariancia, temos que

g() = (X)e o estimador de maxima verossimilhanca de g ().

Exemplo 3.2.3. Sejam X1, . . . , X n uma amostra aleatoria da distribuicao davariavel aleatoriaX Exp() com densidade

f(x|) =ex,

>0 e x >0. Nesse caso, = X1

e o estimador de maxima verossimilhancade . Suponhamos que e de interesse estimar

g() = P[X >1] = e.

De acordo com o princpio da invariancia, temos que o estimador de maximaverossimilhanca e

g() = e1/X .

Nos tres exemplos acima, vimos situacoes em que o estimador de maximaverossimilhanca e uma funcao complicada da amostra observada. Certamente,

nao e uma tarefa facil encontrar a distribuicao do estimador(X), por exem-plo. Contudo, se o tamanho da amostra for grande, o estimador de m aximaverossimilhanca apresentara uma distribuicao aproximadamente normal, comoveremos adiante. Alem disso, veremos que o estimador de maxima verossimi-lhanca e eficiente, em grandes amostras.

3.2.2 Distribuicao em grandes amostras

No caso em que o tamanho da amostra e grande, e as condicoes de regularidade,especificadas no Captulo 2, estao satisfeitas, temos que

(3.2.3)

n(

)

a

N0,

1

IF() ,e

(3.2.4)

n(g() g()) a N

0,(g())2

IF()

,


51/126

3.3 Verossimilhanca para Amostras Independentes 45

onde a

significa distribuicao assintotica. Temos entao que, para amostras

grandes, os estimadores de maxima verossimilhanca de e g() sao aproxi-madamente nao viciados, cujas variancias coincidem com os correspondenteslimites inferiores das variancias dos estimadores nao viciados de e g (). Por-tanto, em grandes amostras, temos que o estimador de m axima verossimilhancae eficiente.

Exemplo 3.2.4.Considere o modelo do Exemplo 3.2.1. De acordo com (3.2.4),temos que a distribuicao do estimador de maxima verossimilhanca (3.2.2) edada por

n(g() (1 )) a N0, (1 2)2(1 ) ,poisg() = 1 2.

Exemplo 3.2.5. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX P oisson(). Nesse caso, temos que o estimador de m axima verossimi-lhanca de e = X (verifique!). De acordo com o princpio da invariancia,temos que o estimador de maxima verossimilhanca de e e dado por

g() = eX .

Do resultado (3.2.4), temos que

n(g() e) a N(0, e2).

3.3 Verossimilhanca para Amostras Independentes

Existem situacoes em que temos duas ou mais amostras independentes de dis-tribuicoes que dependem de um parametro de interesse. No caso de duasamostras aleatorias independentes, X1, . . . , X n eY1, . . . , Y n, podemos escrever

(3.3.1) L(; x, y) =L(; x)L(; y),

devido a independencia entre as amostras. Portanto a verossimilhanca conjuntae igual ao produto da verossimilhanca correspondente a amostra X1, . . . , X npela verossimilhanca correspondente a amostraY1, . . . , Y n. De (3.3.1), podemosescrever

l(; x, y) =l(; x) + l(; y),

de modo que o logaritmo da verossimilhanca conjunta e igual a soma do logari-

tmo das verossimilhancas correspondentes a cada uma das amostras. O exemploque apresentamos a seguir ilustra uma tal situacao.

Exemplo 3.3.1. Sejam X1, . . . , X n uma amostra aleatoria correspondente aX N(, 4) eY1, . . . , Y numa amostra aleatoria correspondente aY N(, 9).


52/126


Assumindo que as duas amostras sao independentes, temos que a verossimi-

lhanca correspondente a amostra conjunta e dada por

(3.3.2) L(; x, y) =L(; x)L(; y)

=

1

2

2

ne

n

i=1

(xi)2

8

1

3

2

me

m

i=1

(yi)2

18

=

1

2

2

n 1

3

2

men

i=1

(xi)2

8 m

i=1

(yi)2

18 .

Usando o criterio da fatoracao, nao e difcil verificar que uma estatstica sufi-ciente para e dada por

(3.3.3) T(x, y) = ni=1 Xi

4 + mi=1 Yi

9 .

Alem disso, o logaritmo da verossimilhanca (3.3.2) pode ser escrito como

l(; x, y) = n2

log8 m2

log 18 ni=1

(xi )28

mi=1

(yi )218

,

de modo que

log L(; x, y)

=

ni=1

(xi )4

+

mi=1

(yi )9

= 0,

cuja solucao e dada por

=14

ni=1 Xi+

19

mi=1 Yi

n4

+ m9

.

Podemos notar que o estimador de maxima verossimilhanca e funcao da es-tatstica suficiente dada em (3.3.3).

3.4 O Caso Multiparametrico

Nas secoes anteriores discutimos a obtencao dos estimadores de maximaverossimilhanca e estudamos suas propriedades no caso em que a funcao de

verossimilhanca depende apenas de um parametro. Nesta secao vamos consi-derar situacoes em que = (1, . . . , r), ou seja, a verossimilhanca depende dedois ou mais parametros. O espaco parametrico sera denotado por. Nos casosem que as condicoes de regularidade estao satisfeitas, os estimadores de maximaverossimilhanca de 1, . . . , r podem ser obtidos como solucao das equacoes


53/126

3.4 O Caso Multiparametrico 47

log L(; x)

i= 0,

i= 1, . . . , r. Nos casos em que o suporte da distribuicao deXdepende de ouo maximo ocorre na fronteira de , o estimador de maxima verossimilhanca eem geral obtido inspecionando o grafico da funcao de verossimilhanca, como nocaso uniparametrico. Nos casos em que a funcao de verossimilhanca dependede dois parametros,1 e2, utilizando a equacao

log L(1, 2; x)

1= 0,

obtemos uma solucao para 1 como funcao de 2, que podemos denotar por1(2). Substituindo a solucao para 1na verossimilhanca conjunta, temos agora

uma funcao apenas de2, ou seja,

g(2; x) =l(1(2), 2; x),

conhecida como verossimilhanca perfilada de2 que pode ser usada para que oestimador de maxima verossimilhanca de 2 possa ser obtido. A maximizacaodeg(2; x) pode, entao, ser feita de maneira usual, ou seja, atraves de derivacao,quando possvel.

Exemplo 3.4.1. SejamX1, . . . , X numa amostra aleatoria da variavel aleatoriaX N(, 2), onde e 2 sao desconhecidos. Temos, entao, que = (, 2),com

L(; x) = 1

22

n/2

en

i=1

(xi)2

22 ,

de modo que

l(, 2; x) = n2

log 22 ni=1

(xi )222

.

Assiml(, 2; x)

= 2

ni=1

(xi )22

= 0

que leva ao estimador = X. Portanto o logaritmo da verossimilhanca perfiladade 2 e dada por

g(2

; x) = n

2log 22

1

22

ni=1

(xi x)2

,

logo o estimador de maxima verossimilhanca de 2 e obtido como solucao daequacao


54/126


g (2; x)

2 = n

22 +

n

i=1

(xi

x)2

24 = 0

que leva ao estimador

2 = 1

n

ni=1

(Xi X)2,

de modo que os estimadores de maxima verossimilhanca de e 2 sao dados,respectivamente, por

= X= 1

n

ni=1

Xi e 2 =

1

n

ni=1

(Xi X)2.

No caso multiparametrico, as mesmas propriedades como invariancia, funcao

da estatstica suficiente e outras, continuam valendo. O mesmo se aplica aocaso de varias amostras independentes, conforme ilustra o exemplo a seguir.

Exemplo 3.4.2. Sejam X1, . . . , X n uma amostra aleatoria de X N(x, 2)e Y1, . . . , Y m uma amostra aleatoria de Y N(y, 2). Nesse caso, =(x, y ,

2). Portanto a verossimilhanca correspondente a amostra observada edada por

L(; x, y) =

1

2

n 1

2

me

122

ni=1

(xix)2 122m

i=1(yiy)2 ,

logo

l(; x, y) = (n + m)2

log2 (m+ n)2

log 2ni=1

(xi x)2

22

mi=1

(yi y)2

22 .

Derivando l(; x, y) com relacao ax, y e 2, chegamos as equacoes

l(; x, y)

x=

ni=1

(xi x) = 0,

l(; x, y)

y=

mj=1

(yi y) = 0

e

l(; x, y)

2 = (m + n)

2

1

2+

1

24 n

i=1

(xi x)2 +mj=1

(yjy)2 = 0,

cuja solucao apresenta os estimadores


55/126

3.5 Famlia Exponencial e o Metodo de Maxima Verossimilhanca 49

x = X , y =Y

e

2 =

ni=1(Xi X)2 +

mj=1(Yj Y)2

m+ n .

3.5 Famlia Exponencial e o Metodo de Maxima

Verossimilhanca

Se a distribuicao da variavel aleatoria X pertence a famlia exponencial unidi-mensional de distribuicoes, entao o estimador de maxima verossimilhanca debaseado na amostra X = (X1, . . . , X n) e solucao da equacao

(3.5.1) E[T(X)] = T(X),

desde que a solucao pertenca ao espaco parametrico correspondente ao para-metro. Esse resultado pode ser estendido para o caso k-parametrico em queos estima

Inferência Estatística-2016

Documents

Transcript of Inferência Estatística-2016