Função de Verossimilhança

Who? Paulo Inácio K.L. Prado e João L.F. Batista

From? BIE 5781 Modelagem Estatísticos em Ecologia e Recursos Naturais

When? junho de 2009

Sumário

Introdução

Lei de Verossimilhança

Princípio de Verossimilhança

Mútliplas Observaçães Independentes

Função de Log-Verossimilhança Negativa

Método da Máxima Verossimilhança

Intervalos de Verossimilhança

Superfície de Verossimilhança

Verossimilhança Estimada e Per�lhada

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Sumário

Introdução

Plausibilidade x VerossimilhançaDicionário Priberam (http://www.priberam.pt):

Plausibilidade

Plausibilidade: qualidade do que é plausível.

Plausível:

que merece aplauso ou aprovação;

aceitável;

verossímil.

Verossimilhança

Verossímil: verosímil.

Verosímil:

semelhante à verdade;

que aparenta ser verdadeiro;

que não repugna à verdade;

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade

Plausível:

aceitável;

verossímil.

Verossimilhança

Verosímil:

provável;

plausível.

Plausibilidade x Verossimilhança

No dicionário:

Conclusão: Plausibilidade = Verossimilhança.

Plausibilidade: linguagem corrente, coloquial.

Verossimilhança: linguagem técnica.

Na Estatística:

A abordagem da Verossimilhança se apoia em doisconceitos básicos:

Lei da Verossimilhança: de aceitação geral entre osestatísticos de todas as tribos.

Princípio de Verossimilhança: de aceitação mais restrita,embora seja um pilar �losó�co da Estatística comoCiência.

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

No dicionário:

Na Estatística:

Comparação deHipótes

Hipótese A: X = x seria observado com prob. pA(x)Hipótese B: X = x seria observado com prob. pB(x)

Lei deVerossimilhança:

A observação X = x favorece a hipótese A sobre ahipótese B se e somente se:

pA(x) > pB(x).

Razão deVerossimilhança:

A força de evidência em favor da hipótese A sobre ahipótese B é dada pela razão:

pA(x)pB(x)

Comparação deHipótes

Hipótese A: X = x seria observado com prob. pA(x)Hipótese B: X = x seria observado com prob. pB(x)

pA(x) > pB(x).

pA(x)pB(x)

Comparação deHipótes Hipótese A: X = x seria observado com prob. pA(x)

Hipótese B: X = x seria observado com prob. pB(x)

pA(x) > pB(x).

pA(x)pB(x)

pA(x) > pB(x).

pA(x)pB(x)

pA(x) > pB(x).

pA(x)pB(x)

pA(x) > pB(x).

pA(x)pB(x)

Exemplo: Regeneração Natural

Hipóteses sobrea regeneração

Hipótese A: o número médio de plântulas é 16(5700 ind/ha)

Hipótese B: o número médio de plântulas é 35(12500 ind/ha)

Observação daregeneração

Parcela: observou-se 24 plântulas (8470 ind/ha)

Modelo Poisson

X (variável aleatória �número de plântulas�) é Poisson.

Probabilidade � função de densidade:

P (X = x) =e−µµx

x é o valor de uma observação;

µ (parâmetro) é o número médio de plântulas.

Hipóteses sobrea regeneração

Hipótese A: o número médio de plântulas é 16(5700 ind/ha)

Modelo Poisson

Hipóteses sobrea regeneração Hipótese A: o número médio de plântulas é 16

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Observação daregeneração Parcela: observou-se 24 plântulas (8470 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

(5700 ind/ha)

Modelo Poisson

Probabilidadesob as

hipóteses

Hipótese A: µ = 16

pA(24) =e−161624

24!= 0.01437018

Hipótese B: µ = 35

pB(24) =e−353524

24!= 0.01160434

Razão deVerossimilhança

pA(24)pB(24)

=0.014370180.01160434

= 1.238345.

Probabilidadesob as

hipóteses

Hipótese A: µ = 16

pA(24) =e−161624

24!= 0.01437018

pB(24) =e−353524

24!= 0.01160434

pA(24)pB(24)

=0.014370180.01160434

= 1.238345.

Probabilidadesob as

hipótesesHipótese A: µ = 16

pA(24) =e−161624

24!= 0.01437018

pB(24) =e−353524

24!= 0.01160434

pA(24)pB(24)

=0.014370180.01160434

= 1.238345.

Probabilidadesob as

pA(24) =e−161624

24!= 0.01437018

pB(24) =e−353524

24!= 0.01160434

pA(24)pB(24)

=0.014370180.01160434

= 1.238345.

Probabilidadesob as

pA(24) =e−161624

24!= 0.01437018

pB(24) =e−353524

24!= 0.01160434

pA(24)pB(24)

=0.014370180.01160434

= 1.238345.

Probabilidadesob as

pA(24) =e−161624

24!= 0.01437018

pB(24) =e−353524

24!= 0.01160434

pA(24)pB(24)

=0.014370180.01160434

= 1.238345.

Função de Verossimilhança: Poisson

Função deDensidade

É função da variável aleatória X, assumindo que oparâmetro (µ) é conhecido:

f(x|µ) = P (X = x|µ) =e−µµx

Quando oDado é

Conhecido?

Se o dado é conhecido (X = 24), a função passa adepender do valor do parâmetro desconhecido (µ):

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Função deDensidade

É função da variável aleatória X, assumindo que oparâmetro (µ) é conhecido:

Quando oDado é

Conhecido?

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Função deDensidade É função da variável aleatória X, assumindo que o

parâmetro (µ) é conhecido:

Quando oDado é

Conhecido?

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Quando oDado é

Conhecido?

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Quando oDado é

Conhecido?

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Quando oDado é

Conhecido?Se o dado é conhecido (X = 24), a função passa adepender do valor do parâmetro desconhecido (µ):

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Quando oDado é

Conhecido?Se o dado é conhecido (X = 24), a função passa adepender do valor do parâmetro desconhecido (µ):

e−µµ24

24!= f(µ|x) = L{µ|X = 24}

Função deVerossimilhança

A função de densidade se torna uma função deverossimilhança quando:

O dado é �xo (resultado empírico);

O valor de parâmetro é desconhecido (variável).

Função deVerossimilhançada Distribuição

Poisson:

L{µ|X = 24} =e−µµ24

24!A Função de Verossimilhança L{µ|X = x} é contínua.

A Função de densidade f(x|µ) = P (X = x|µ) édiscreta.

Poisson:

L{µ|X = 24} =e−µµ24

Poisson:

L{µ|X = 24} =e−µµ24

Poisson:

L{µ|X = 24} =e−µµ24

Poisson:

L{µ|X = 24} =e−µµ24

Poisson:L{µ|X = 24} =

e−µµ24

A Função de Verossimilhança L{µ|X = x} é contínua.

e−µµ24

Função contínua: L{µ|X = 24}.

10 20 30 40 50

Função de Densidade: Poisson

Função discreta: f(x|µ = 24) = P (X = x|µ = 24).

0 10 20 30 40 50

Exemplo: Distribuição Binomial

Função de densidade:f(x|n = 10, p = 0.7) = P (X = x|n = 10, p = 0.7).

0 1 2 3 4 5 6 7 8 9 10

Exemplo: Distribuição Binomial

Função contínua: L{p|n = 10, X = 7}.

0.0 0.2 0.4 0.6 0.8 1.0

Exemplo: Distribuição Exponencial

Função de densidade (contínua): f(x|λ = 0.2).

0 5 10 15 20 25 30

Exemplo: Distribuição Exponencial

Função contínua: L{λ|X = 30}.

0.00 0.05 0.10 0.15 0.20 0.25 0.30

HipótesesA e B

Uma observação X = x favorece a hipótese A : θ = θAcontra a hipótese B : θ = θB.

HipótesesC e D

Uma observação Y = y favorece a hipótese C : β = βCcontra a hipótese D : β = βD.

Princípio deVerossimilhança

Se:L{θA}L{θB}

=L{βC}L{βD}

Então a observação X = x em favor de A vis-a-vis B ea observação Y = y em favor de C vis-a-vis D sãoequivalentes em termos de evidência.

HipótesesA e B

HipótesesC e D

Se:L{θA}L{θB}

=L{βC}L{βD}

HipótesesA e B

HipótesesC e D

Se:L{θA}L{θB}

=L{βC}L{βD}

HipótesesA e B

HipótesesC e D

Se:L{θA}L{θB}

=L{βC}L{βD}

HipótesesA e B

HipótesesC e D

Princípio deVerossimilhança Se:

L{θA}L{θB}

=L{βC}L{βD}

HipótesesA e B

HipótesesC e D

Princípio deVerossimilhança Se:

L{θA}L{θB}

=L{βC}L{βD}

Conclusão

A razão de verossimilhança é uma evidência relativaentre duas hipóteses.

A força de evidência representada pela magnitude darazão de verossimilhança

é uma medida absoluta na comparação de hipóteses.

Consequência

A evidência contida nos dados a respeito de qualquerhipótese

é totalmente caracterizada pela função deverossimilhança.

Conclusão

Consequência

Conclusão

Consequência

Conclusão

Consequência

Conclusão

Consequência

Conclusão

Consequência

Conclusão

Consequência

Exemplo:Regeneração

Natural

Foram observadas 24 plântulas (X = 24).O modelo assumido é a distribuição Poisson.

Toda evidência da observação a respeito do númeromédio de plântulas está contida na função deverossimilhança:

10 20 30 40 50

NaturalForam observadas 24 plântulas (X = 24).

O modelo assumido é a distribuição Poisson.

10 20 30 40 50

NaturalForam observadas 24 plântulas (X = 24).O modelo assumido é a distribuição Poisson.

10 20 30 40 50

Exemplo: DoisLaboratórios

Testar a toxidez de uma data substância química.

Laboratório A

Dispunha de muitas cobaias.

Selecionou 20 cobaias e aplicou a substância emconcentração padrão.

Resultado: 6 mortes.

Qual o ModeloEstatístico?

A distribuição Binomial.

Laboratório A

Qual o ModeloEstatístico? A distribuição Binomial.

Laboratório B

Não dispunha de muitas cobaias.

Aplicou a substância em concentração padrão a cadacobaia disponível.

Decidiu-se que o experimento terminaria com o 6a morte.

Resultado: 20 cobaias receberam a substância.

A distribuição Binomial Negativa.

Laboratório B

Qual o ModeloEstatístico? A distribuição Binomial Negativa.

Laboratório A: 6 mortes em 20 cobaias.

Laboratório B: 6 mortes em 20 cobaias.

As Evidênciassão Diferentes?

0.0 0.2 0.4 0.6 0.8 1.0

BinomialBinomial Negativa

Exemplo: DoisLaboratórios Laboratório A: 6 mortes em 20 cobaias.

0.0 0.2 0.4 0.6 0.8 1.0

Múltiplas Observações Independentes

Dados: Os dados são uma amotra com n observaçõesindependentes:

Xn = {x1, x2, . . . , xn}

Probabilidade A probabilidade da amostra pelo modelo A:

P (Xn|A)=P (X=x1|A)·P (X=x2|A)·...·P (X=xn|A)

Verossimilhança

Verossimilhança da amostra é o produtório daverossimilhança das observações:

L{A|Xn}=L{A|X=x1}·L{A|X=x2}·...·L{A|X=xn}

L{A|Xn} =n∏i=1

L{A|X = xi}

Xn = {x1, x2, . . . , xn}

Verossimilhança

L{A|Xn} =n∏i=1

L{A|X = xi}

Xn = {x1, x2, . . . , xn}

Verossimilhança

L{A|Xn} =n∏i=1

L{A|X = xi}

Xn = {x1, x2, . . . , xn}

Verossimilhança

L{A|Xn} =n∏i=1

L{A|X = xi}

Xn = {x1, x2, . . . , xn}

Verossimilhança

L{A|Xn} =n∏i=1

L{A|X = xi}

Xn = {x1, x2, . . . , xn}

Verossimilhança

L{A|Xn} =n∏i=1

L{A|X = xi}

Verossimilhança das observações individuais:

0 20 40 60 80 100

X = 10

X = 24

X = 40

X = 60

Verossimilhança da amostra:

0 20 40 60 80 100

Valor Numérico da Verossimilhança da

Amostra

Valores da Verossimilhança para as parcelas e amostra:

Exemplo:Regneração

Natural Parcela No. Hipóteses

Plântulas µ = 16 µ = 35

1 10 3.409770×10−02 4.793034×10−07

2 24 1.437018×10−02 1.160434×10−02

3 40 2.015777×10−07 4.474761×10−02

4 60 2.389530×10−17 3.338881×10−05

Amostra � 2.360164×10−27 8.310016×10−15

Observações: valores positivos pequenos(em geral 0 < L < 1).Amostra: produto −→ 0 quando n cresce.

Transformação

log: resulta em valores razoáveis, mas negativos: ln(L).sinal: resulta em valores positivos: − ln(L).

nova função: Log-Verossimilhança Negativa: L = − ln(L).

Observações: valores positivos pequenos(em geral 0 < L < 1).Amostra: produto −→ 0 quando n cresce.

Transformação

Função deVerossimilhança Observações: valores positivos pequenos

(em geral 0 < L < 1).

Amostra: produto −→ 0 quando n cresce.

Transformação

(em geral 0 < L < 1).Amostra: produto −→ 0 quando n cresce.

Transformação

log: resulta em valores razoáveis, mas negativos: ln(L).

sinal: resulta em valores positivos: − ln(L).nova função: Log-Verossimilhança Negativa: L = − ln(L).

Transformação

Observação:

L{A|X = x1} = − ln (L{A|X = x1})L{A|X = x2} = − ln (L{A|X = x2}). . .

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

L{A|Xn} = − ln [L{A|Xn}]L{A|Xn} = − ln [

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = x1} = − ln (L{A|X = x1})

L{A|X = x2} = − ln (L{A|X = x2}). . .

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = x1} = − ln (L{A|X = x1})L{A|X = x2} = − ln (L{A|X = x2})

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

L{A|Xn} = − ln [L{A|Xn}]

L{A|Xn} = − ln [∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Observação:

L{A|X = xn} = − ln (L{A|X = xn})

Amostra:

∏ni=1 L{A|X = xi}]

L{A|Xn} =∑n

i=1 L{A|X = xi}

Valoresnuméricos mais

convenientesParcela No. Hipóteses

1 10 3.378525 14.550932

2 24 4.242600 4.456376

3 40 15.417091 3.106717

4 60 38.272850 10.307290

Amostra: � 61.311066 32.421315

Valoresnuméricos mais

convenientesParcela No. Hipóteses

1 10 3.378525 14.550932

2 24 4.242600 4.456376

3 40 15.417091 3.106717

4 60 38.272850 10.307290

Amostra: � 61.311066 32.421315

Conveniência Algébrica: Exemplo da Dist. Poisson

Verossimilhança:

L{A|Xn} =∏ni=1 L{A|X = xi}

L{A|Xn} =∏ni=1

e−µµxixi!

L{A|Xn} = (e−µ)n∏ni=1

µxixi!

Log-Verossimilhança

Negativa:

L{A|Xn} =∑n

i=1 L{A|X = xi}

L{A|Xn} =∑n

i=1− ln[e−µµxixi!

]L{A|Xn} =

∑ni=1 [µ− xi ln(µ) + ln(xi!)]

L{A|Xn} = n µ− ln(µ)∑n

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:

L{A|Xn} =∑n

i=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:

L{A|Xn} =∑n

i=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:

L{A|Xn} =∑n

i=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:

L{A|Xn} =∑n

i=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:

L{A|Xn} =∑n

i=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:L{A|Xn} =

∑ni=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:L{A|Xn} =

∑ni=1 L{A|X = xi}

L{A|Xn} =∑n

i=1 [µ− xi ln(µ) + ln(xi!)]L{A|Xn} = n µ− ln(µ)

∑ni=1 xi + n

∑ni=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:L{A|Xn} =

∑ni=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Verossimilhança:

L{A|Xn} =∏ni=1

e−µµxixi!

µxixi!

Negativa:L{A|Xn} =

∑ni=1 L{A|X = xi}

L{A|Xn} =∑n

]L{A|Xn} =

i=1 xi + n∑n

i=1 ln(xi)

Curva da Função deVerossimilhança

0 20 40 60 80 100

Curva da Função deLog-Verossimilhança Negativa

0 20 40 60 80 100

Log−

Método deEstimação

É um método de estimação de parâmetros.

É utilizado como técnica por todas as �tribos� deestatísticos.

A Técnica

Maximizar a função de verossimilhança.

Minimizar a função de log-verossimilhança negativa.

Método deEstimação

É um método de estimação de parâmetros.

A Técnica

Método deEstimação É um método de estimação de parâmetros.

A Técnica

Método da Máxima VerossimilhançaSolução Grá�ca: Exemplo Dist. Poisson

0 20 40 60 80 100

Método da Máxima VerossimilhançaSolução Grá�ca: Exemplo Dist. Poisson

0 20 40 60 80 100

Log−

Método da Máxima VerossimilhançaSolução Algébrica: Exemplo Dist. Poisson

Função L{A|Xn} = n µ− ln(µ)∑n

i=1 xi + n∑n

i=1 ln(xi)

Ponto deMínimo δL{A|Xn}/δµ = 0

Solução

n−∑n

i=1 xiµ

µ̂ =∑n

i=1 xin

i=1 xi + n∑n

i=1 ln(xi)

Solução

n−∑n

i=1 xiµ

µ̂ =∑n

i=1 xin

i=1 xi + n∑n

i=1 ln(xi)

Solução

n−∑n

i=1 xiµ

µ̂ =∑n

i=1 xin

Método da Máxima VerossimilhançaEstimadores: MLE

Estimadores Estimadores de Máxima Verossimilhança.

Sigla MLE = Maximum Likelihood Estimators.

ExemploPoisson

O estimador µ̂ é a média amostral.

A média amostral é o MLE do parâmetro µ da dist.Poisson.

ExemploPoisson

ExemploPoisson O estimador µ̂ é a média amostral.

Método da Máxima VerossimilhançaPropriedades dos MLE

Para grandes amostras (n→∞) os MLE têm:

Consistência:

MLE convergem em probabilidade para o valor doparâmetro.

Isto é, os MLE são não-viciados.

E�ciênciaAssimptótica

Os MLE atingem a menor variância dentre osestimadores não-viciados.

NormalidadeAssimptótica

Os MLE têm distribuição Gaussiana.

Consistência:

E�ciênciaAssimptótica Os MLE atingem a menor variância dentre os

estimadores não-viciados.

Consistência:

NormalidadeAssimptótica Os MLE têm distribuição Gaussiana.

Independentemente do tamanho da amostra, os MLEpossuem:

Invariância

Transformações monotônicas de MLE resultam em MLE.

Exemplos deTransformações

Monotônicas

Transformação linear: a+ b µ̂.

Raiz quadrada:√µ̂.

Logaritmo: log(µ̂).Exponencial: ebµ.

Invariância

Monotônicas

Invariância

Monotônicas

Invariância

Monotônicas

Invariância

MonotônicasTransformação linear: a+ b µ̂.

Invariância

Logaritmo: log(µ̂).

Exponencial: ebµ.

Invariância

Intervalos de VerossimilhançaRegra Canônica

Questão Mas quando decidir que uma razão de verossimilhançaindica estimativas com plausibilidade diferente?

Regra Canônica

Decisão arbitrária: requer convenção!

Convenção aceita: razões maiores que 8

indicam diferenças relevantes em plausibilidade.

Razão deVerossimilhança L{µ̂|Xn}

L{µ|Xn}≥ 8

Regra Canônica

L{µ|Xn}≥ 8

Regra Canônica

L{µ|Xn}≥ 8

Regra Canônica

L{µ|Xn}≥ 8

Regra Canônica

L{µ|Xn}≥ 8

Regra Canônica

L{µ|Xn}≥ 8

Regra Canônica

L{µ|Xn}≥ 8

Intervalos de VerossimilhançaIntervalo pela Razão de Verossimilhança

Intervalo deVerossimilhança

Os valores do parâmetro na vizinhaça da MLE (µ̂)

cuja razão de verossimilhança for menor ou igual a 8

terão igual plausibilidade.

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Verossimilhança RELATIVA⇒ L{µ|Xn}L{µ̂|Xn}

Intervalo deVerossimilhança

Os valores do parâmetro na vizinhaça da MLE (µ̂)

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Intervalo deVerossimilhança Os valores do parâmetro na vizinhaça da MLE (µ̂)

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

L{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Verossimilhança Relativa

20 25 30 35 40 45

Intervalos de VerossimilhançaIntervalo pela Diferença da Log-Verossimilhança Negativa

RazãoL{µ̂|Xn}L{µ|Xn}

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Diferença

− ln[L{µ|Xn}L{µ̂|Xn}

]≤ − ln

)L{µ|Xn} − L{µ̂|Xn} ≤ ln(8) = 2, 0794

Log-Verossimilhança Negativa

RELATIVA ⇒ L{µ|Xn} − L{µ̂|Xn} ≥ 0

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Diferença

]≤ − ln

)L{µ|Xn} − L{µ̂|Xn} ≤ ln(8) = 2, 0794

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Diferença

]≤ − ln

)L{µ|Xn} − L{µ̂|Xn} ≤ ln(8) = 2, 0794

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Diferença

]≤ − ln

L{µ|Xn} − L{µ̂|Xn} ≤ ln(8) = 2, 0794

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Diferença

]≤ − ln

)L{µ|Xn} − L{µ̂|Xn} ≤ ln(8) = 2, 0794

≥ 8 ⇒ L{µ|Xn}L{µ̂|Xn}

≥ 18

Diferença

]≤ − ln

)L{µ|Xn} − L{µ̂|Xn} ≤ ln(8) = 2, 0794

Log-Verossimilhança Negativa Relativa

20 25 30 35 40 45

Log−

Superfície de VerossimilhançaRegião de Verossimilhança

Mais de 1Parâmetros

Como fazer quando se têm mais de um parâmetro?

A função de verossimilhança formará uma superfície.

Será de�nido então uma região de verossimilhança.

Exemplo:DistribuiçãoGaussiana

Distr. Gaussiana têm dois parâmetros: µ e σ.

Mais de 1Parâmetros

Como fazer quando se têm mais de um parâmetro?

Mais de 1Parâmetros Como fazer quando se têm mais de um parâmetro?

Grá�co de Contorno da Verossimilhança Relativa

10 20 30 40 50 60

Grá�co de Superfície da Verossimilhança Relativa

MédiaDes

erossimilhança

Grá�co de Contorno da Log-Verossimilhança NegativaRelativa

10 20 30 40 50 60

Modelos com Muitos ParâmetrosEvitando a Superfície de Verossimilhança

Parâmetros

De interesse.

Sem interesse.

Parâmetros inconvenientes (nuisance parameters).

Estudo daSuperfície

Impraticável estudar muitos parâmetros ao mesmotempo.

Estudo direto da superfície é impossível.

Solução:

Estudar um parâmetro por vez.

Estudar �cortes� da superfície.

Parâmetros

De interesse.

Sem interesse.

Solução:

Parâmetros

De interesse.

Sem interesse.

Solução:

Parâmetros

De interesse.

Sem interesse.

Solução:

Parâmetros

De interesse.

Sem interesse.

Solução:

Parâmetros

De interesse.

Sem interesse.

Estudo daSuperfície Impraticável estudar muitos parâmetros ao mesmo

tempo.

Solução:

Parâmetros

De interesse.

Sem interesse.

tempo.

Solução:

Parâmetros

De interesse.

Sem interesse.

tempo.

Solução:

Parâmetros

De interesse.

Sem interesse.

tempo.

Solução:

Parâmetros

De interesse.

Sem interesse.

tempo.

Solução:

VerossimilhançaEstimada

Varia apenas o parâmetro de interesse.

Os demais são mantidos �xos no valor da MLE.

VerossimilhançaPer�lhada

Os demais são estimados condicionalmente ao valor doparâmetro de interesse.

Estimação por máxima verossimilhança.

VerossimilhançaEstimada

VerossimilhançaEstimada Varia apenas o parâmetro de interesse.

VerossimilhançaPer�lhada Varia apenas o parâmetro de interesse.

Verossimilhança EstimadaExemplo da Distrbuição Gaussiana

Negativa L{µ, σ|Xn} =n

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ)2

VerossimilhançaEstimadada Média

MLE do desvio padrão: σ̂.

LE{µ|σ̂} =n

2ln(2π) +

2ln(σ̂2) +

12 σ̂2

n∑i=1

(xi − µ)2

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ)2

LE{µ|σ̂} =n

2ln(2π) +

2ln(σ̂2) +

12 σ̂2

n∑i=1

(xi − µ)2

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ)2

LE{µ|σ̂} =n

2ln(2π) +

2ln(σ̂2) +

12 σ̂2

n∑i=1

(xi − µ)2

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ)2

LE{µ|σ̂} =n

2ln(2π) +

2ln(σ̂2) +

12 σ̂2

n∑i=1

(xi − µ)2

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ)2

LE{µ|σ̂} =n

2ln(2π) +

2ln(σ̂2) +

12 σ̂2

n∑i=1

(xi − µ)2

Verossimilhança Estimada da Média

10 20 30 40 50 60

Log−

VerossimilhançaEstimadado Desvio

Padrão

MLE da média: µ̂.

LE{σ|µ̂} =n

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ̂)2

Padrão

LE{σ|µ̂} =n

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ̂)2

Padrão

LE{σ|µ̂} =n

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ̂)2

Padrão

LE{σ|µ̂} =n

2ln(2π) +

2ln(σ2) +

12 σ2

n∑i=1

(xi − µ̂)2

Verossimilhança Estimada do Desvio Padrão

10 20 30 40 50 60

Log−

Verossimilhança Per�lhadaExemplo da Distrbuição Gaussiana

VerossimilhançaPer�lhadada Média

MLE do desvio padrão condicionado à média:

σ̂ =

√√√√ 1n

n∑i=1

(xi − µ)2

LP {µ|σ̂} =n

2ln(2π) +

[n∑i=1

(xi − µ̂)2]

σ̂ =

√√√√ 1n

n∑i=1

(xi − µ)2

LP {µ|σ̂} =n

2ln(2π) +

[n∑i=1

(xi − µ̂)2]

σ̂ =

√√√√ 1n

n∑i=1

(xi − µ)2

LP {µ|σ̂} =n

2ln(2π) +

[n∑i=1

(xi − µ̂)2]

σ̂ =

√√√√ 1n

n∑i=1

(xi − µ)2

LP {µ|σ̂} =n

2ln(2π) +

[n∑i=1

(xi − µ̂)2]

σ̂ =

√√√√ 1n

n∑i=1

(xi − µ)2

LP {µ|σ̂} =n

2ln(2π) +

[n∑i=1

(xi − µ̂)2]

Verossimilhança Per�lhada

10 20 30 40 50 60

Log−

Verossimilhança Estimada e Per�lhadaComparação da Verossimilhança Estimada e Per�lhada

Comparação para Média

0 20 40 60 80

Log−

EstimadaPerfilhada

Muito Obrigado!

Função de Verossimilhança

Documents

Transcript of Função de Verossimilhança