Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 1...

Clique para editar o estilo do título mestre

Clique para editar o estilo do subtítulo mestre

1

Seminário:

Disciplina:Disciplina: Probabilidade e InferênciaProbabilidade e Inferência

Professor:Professor: Dr. Luis Cláudius CoradineDr. Luis Cláudius Coradine

Flávio,Genildo, Mozart e PetrúcioFlávio,Genildo, Mozart e Petrúcio



2

• Intuitivamente ou não, todas as pessoas conhecem e utilizam de alguma forma estatística.

• Necessidades de uso ...

• Uma empresa adquiriu 100.000 rebites.

• Qual a proporção de rebites defeituosos?



3

Função de distribuição de Probabilidade

Parâmetros Populacionais Média = μ Desvio padrão = σ Variância σ² Proporção de determinado evento = P

• Distribuição Amostral

• Estatísticas (variável aleatória)

População Amostraestimar

A inferência estatística consiste em generalizar para a população aquilo que se observou na amostra com o objetivo de tirar conclusões.



4



5

• As estimativas de parâmetros populacionais são realizadas a partir dos resultados (dados) de uma variável aleatória de uma amostra representativa extraída dessa população.

• As estimativas das amostras dependem dos valores amostrados, sendo necessário conhecer a distribuição de Probabilidade da amostra.

• A partir da distribuição de probabilidade do parâmetro, tem-se condições de avaliar o grau de incerteza das inferências realizadas a partir de amostras aleatórias.

• Dada uma amostra aleatória (X1,X2,...Xn), estimador ou estatística é qualquer variável aleatória função dos elementos amostras.

• Estimativa valor numérico de um estimador.



6

Estimativas Pontuais

• Seja a variável aleatória X, com distribuição de probabilidade f(x), e seja que os valores dos parâmetros populacionais da média μ e da variância σ² são desconhecidos.

• Se a amostra representativa da variável aleatória X é extraída da população, a média Х¯ e a variância S² dessa amostra podem ser usadas como estimadores pontuais dos parâmetros populacionais μ e σ².



7

Critérios e Características de um Estimador

Teorema 1

A média da distribuição amostral das médias, denotada por µ (x), é igual à média populacional µ. Isto é:

)(xX



8


Teorema 2

Se a população é infinita, ou se a amostragem é com reposição, então a variância da distribuição amostral das médias, denotada por 2(x), é dada por:



9


Teorema 3

Se a população é finita, ou se a amostragem é sem reposição, então a variância da distribuição amostral das médias, denotada por 2(x), é dada por:

1

)(2

2

N

nN

nx



10


Teorema do Limite Central

Se a população tem ou não distribuição normal com média µ e média 2, então a distribuição das amostras será normalmente distribuída.



11

Distribuição Amostral da Média

• Uma distribuição amostral das médias indica a probabilidade de ocorrência de uma média amostral.

• As médias tendem a agrupar-se em torno da média populacional.



12

Distribuição Amostral da Média

• A média das médias amostrais é igual a média populacional

E [ Х¯] = μ

• O desvio padrão da distribuição amostral das médias será dado por:

σx = σ / Raiz(n)



13

Estimativas através de Intervalo de Confiança

Consiste em gerar um intervalo, centrado na estimativa pontual, no qual se admite que esteja o parâmetro populacional.

Quanto maior a amplitude do intervalo, maior a confiança (probabilidade) de estimar corretamente o verdadeiro parâmetro populacional.



14

Estimativas através de Intervalo de Confiança

•Existe uma probabilidade (1 – α) de que o parâmetro populacional esteja contido no intervalo

P { L ≤ μ ≤ U} = 95%

•Para diversas amostras aleatórias, 95% desses intervalos iriam incluir o verdadeiro valor da média populacional.

P { L ≤ μ } = (1 – α)

P { μ ≤ U } = (1 – α)



15

Critérios para Estimativas Seja X uma variável aleatória cuja distribuição dependa do paramento ө;

Seja x1, ...,xn uma amostra aleatória de X

Seja ө^ uma função da amostra

Diz-se que ө^ é uma estimativa não tendenciosa de ө se:

E (ө^) = ө^, para todo ө.



16

Critérios para Estimativas Seja ө uma estimativa não tendenciosa de ө. Diremos que ө^ é uma estimativa não tendenciosa, de variância mínima de ө, se todas as estimativas de ө*, tais que E (ө*) = 0, tivermos V(ө^) ≤ V (ө*) pata todo ө.

A variância de uma variável aleatória mede a variabilidade da variável aleatória em torno do seu valor esperado.



17

Critérios para Estimativas Seja ө uma estimativa do parâmetro ө. Diremos que ө^ é uma estimativa coerente de ө,se:

Lim. Prob. | ө^ - ө | > e = 0; e > 0

Lim. Prob. | ө^ - ө | ≤ e = 1; e > 0

A medida que o tamanho da amostra n aumenta, a estimativa converge para ө.



18

Critérios para Estimativas Seja x1,x2,...,xn uma mostra de X; ө uma função de (x1,x2,...xn).

Diz-se que ө é a melhor estimativa não tendenciosa linear de ө, se:

a) E (ө^) = 0;

b) ө^ = ∑ aixi, ө é uma função linear da amostra

c) V(ө^) ≤ V (ө*) , onde ө é qualquer outra estimativa de ө que satisfaça (a) e (b).



19

Seja X uma variável aleatória qualquer que siga a distribuição Normal XN(,) e seja xp ..., xn uma amostra aleatória desse processo.

A partir do teorema do limite central, sabe-se que a distribuição da média segue a distribuição normal

Mais ainda, para n suficientemente grande este resultado é válido mesmo que a distribuição de origem não seja Normal

Seja que uma variável aleatória X tenha média desconhecida e variância conhecida. E seja que amostra dessa população apresentem média igual a

Intervalo de confiança para média, variância conhecida

)/,( nNX

X



20

De acordo com t de Student



21

Intervalo de confiança para média desconhecida e variância conhecida

LIMITE INFERIOR LIMITE SUPERIOR



22



23

Erro de Estimação

X



24

Erro de Estimação



25



26

Intervalo de confiança para média, variância desconhecida



27

(Somar Valores da amostra) / (nº de amostras)

Desvio Padrão

T Student 5% (20-1)



28

Intervalo de confiançapara variância



29

Qui-quadrado

Variância



30

Intervalo de confiançapara o parâmetro da Binomial



32



33

Introdução a regra de BayesApesar da distribuição a posteriori de um parâmetro θ conter toda a

informação probabilística a respeito deste parâmetro algumas vezes é necessário resumir a informação contida na posteriori através de alguns valores numéricos;

Em Bayes, um problema de decisão fica completamente especificado pela descrição dos seguintes espaços:

•Espaço do parâmetro ou estados da natureza Θ;•Espaço dos resultados possíveis de um experimento Ω;•Espaço de possíveis ações Α;

•Regra de Bayes;•Risco de Bayes;•Inferência Bayesiana;•Exemplos;



34

Introdução a regra de Bayes

Uma regra de decisão δ é uma função definida em Ω que assume valores em Α;

Regra de decisão: δ: Ω → A

A cada δ e a cada possível parâmetro θ podemos associar uma

perda: L(δ, θ) Obs.: Assumindo valores positivos.




35

Risco de Bayes

É a perda esperada a posteriori;O risco de L(δ, θ) é dado por:

Regra de decisão δ* é ótima se tem risco mínimo: R(δ*) < R(δ)




36

ExemploUm laboratório farmacêutico deve decidir pelo lançamento ou não de

uma nova droga no mercado. Supondo que foi possível construir a seguinte tabela de perdas levando em conta a eficiência da droga:




37

SoluçãoParâmetro θ está associado aos estados:

•“droga é eficiente” (θ1 = 1); •“droga não é eficiente” (θ2 = 0);

E a regra de decisão δ está associado as ações:•“lança a droga” (δ1 = 1);•“ não lança a droga” (δ2 = 0);




38

SoluçãoSupondo π uma incerteza para P(θ = 1): 0 < π < 1;

Para δ fixo, L(δ, θ) terá dois valores: π e 1 - π;

Usando a definição de risco para δ = δ1 = 1:R(δ1) = E(L(1, θ)) = π (-500) + (1 - π) 600 = -1100π + 600

Usando a definição de risco para δ = δ2 = 0:R(δ2) = E(L(0, θ)) = π (1500) + (1 - π) 100 = 1400π + 100




39

SoluçãoDado o valor de π é possível informar se será lançado a droga;É possível verificar que as duas ações levarão ao mesmo risco:

Além disso:•π < 0.2, R(δ = 0) < R(δ = 1) e a regra de Bayes consiste em não

lançar a droga;•π > 0.2, R(δ = 1) < R(δ = 0) e a regra de Bayes consiste em

lançar a droga;




40

Inferência BayesianaCriada por Bayes em 1763;

Enfoques: •Inferência estatística que exige a adoção de princípios teóricos

muito bem especificados;•Teoria freqüentista (ou clássica);

Crítica: Possibilidade de replicar dados na teoria freqüentista;Contribuições (evoluções):

•Bernoulli, 1713;•Laplace, 1812;•Jeffreys, 1939;




41

Inferência Bayesiana

Supor uma amostra observada (x1, x2, ..., xn) de uma população normal N(μ, δ2);

Fazer inferências baseados nas n observações;

Como? Selecionar estimadores (utilizando-se de algum procedimento);

Obs.: Ser função do vetor de observações: x = (x1, x2, ..., xn)’




42

Inferência Bayesiana

Admitir que os parâmetros μ e δ2 podem ser descritos por distribuição de probabilidade p(μ, δ2);

Teremos: θ = (μ, δ2)’

Na teoria bayesiana, μ é fixo;




43

Inferência BayesianaSe temos um θ, ou seja, temos alguma informação anterior;Então teremos uma distribuição de probabilidade, ou distribuição a

priori de θ, p(θ);Seja θ = {θ1, θ2, ..., θr};Onde: P(θ= θi) = p(θ1), i = 1, 2, ..., r;Chamando de y a nova informação;Pelo teorema de Bayes, teremos:




44

Exemplo




45

Solução


Calculando as probabilidade conjuntas (p(θ)p(y|θ) = p(y,θ)), teremos:

a)p(y1,θ1) = 6/15 e p(y1,θ2) = 2/15;b)p(y2,θ1) = 3/15 e p(y2,θ2) = 4/15;

Lembrando que do teorema de Bayes teremos a posteriori de θ1 e θ2:



46

Solução


Para y1(y>0), teremos: p(y1) = 6/15 + 2/15 = 8/15;Para y2(y<0), teremos: p(y2) = 3/15 + 4/15 = 7/15;

Dessa forma para rendimentos positivos (y>0), teremos:

e

Dessa forma análoga para rendimentos negativos (y<0), teremos:e

Resultados e inferências para “mercado em alta” (θ1) e “mercado em baixa” (θ2) a partir da probabilidade posteriori (modelo estático):



47

Estimadores de Bayes

•Regra de Bayes;•Risco de Bayes;•Inferência Bayesiana;•Estimadores de Bayes;

Tendo uma amostra aleatória x1, x2, ..., xn de p(x|θ), onde θ é desconhecido;

Se θ Є Θ, então: estimador δ(x) Є Θ;Erro: δ(x) – θPara cada θ existirá uma possível estimativa α Є Θ;Perda: L(α, θ); Obs.: Quanto maior a distância entre α e θ maior a

perda.

Perda esperada posteriori:

A partir de agora: Escolher a estimativa que minimiza esta perda esperada;



48



Função perda quadrática: L(α, θ) = (α - θ)2;

Em alguns casos o estimador de Bayes para o parâmetro θ será a média de sua distribuição atualizada, exemplo:

Suponha que queremos estimar a proporção θ de itens defeituosos em um grande lote. Para isto será tomada uma amostra aleatória x1, ..., xn de uma distribuição de Bernoulli com parâmetro θ. Usando uma priori conjugada Beta(α, β) sabemos que após observar a amostra a distribuição a posteriori é Beta(α + t, β + n - t), onde:

A média desta distribuição Beta é dada por: (α + t)/(α + β + n)Portanto o estimador de Bayes de θ usando perda quadrática é:



49



A função de perda absoluta: L(α, θ) = |α – θ|

Introduz punições que crescem linearmente com o erro de estimação;

Pode-se mostrar que o estimador de Bayes associado é a mediana da distribuição atualizada de θ.



50



Para reduzir ainda mais o efeito de erros de estimação grandes:

Associa uma perda fixa a um erro cometido, não importando sua magnitude.



51



52

É um método estatístico popular usado para calcular o melhor caminho para ajustamento do modelo matemático de alguns dados.

Modelar Dados Reais pelo Maximum Likelihood

Gerar parâmetros do modelo para prover uma ótima ajustagem.



53

Pioneiro

R. A. Fisher

(Geneticista e Estatístico)

Período:1912 e 1922

•Pioneiros;•Conceitos;•Filtragem adaptativa;•Filtro de Wiener;•Algoritmo adaptativo;



54

•Modelos Lineares e Generalização de Modelos Lineares;•Modelagem de Equações Estruturais•Psychometrics and econometrics;•Detecção de Eletromagnetismo ou Acústica por time-delay of arrival (TDOA);•Muitas situações no contexto de Teste de Hipótese etc.

•Introdução;•Áreas Utilização•Filtragem adaptativa;•Filtro de Wiener;•Algoritmo adaptativo;



55

• EXEMPLO:



56

• Interesse na altura de uma população;• Possuímos uma amostra de um número desta população (Ñ

totalidade);• Anotamos os dados;• Dizemos que eles são normalmente distribuídos (desconhecidos:

mean e variância);• A amostra mean é a máxima estimativa do Likelihood do mean

desta população;• A variância é a mais próxima para a estimação do Likelihood da

variância desta população.



57

• Considere uma familia Dθ de distribuição de probabilidade parametrizada por um parâmetro θ desconhecido associado a uma função densidade de probabilidade, denotada como fθ.

• Se temos um conjunto de n valores desta distribuição, e usando fθ nós podemos computar a densidade de probabilidade desta multivariável associado aos dados observados.

• Como a função de θ com x1, ..., xn fixos, este é o likelihood function.

• O método do maximum likelihood estima θ encontrando o valor de θ que maximiza. Assim a estimação maximum likelihood(MLE) de θ:



58

• Obs: É importante considerar que os dados da distribuição sejam independentes e identicamente distribuídos com parâmetros desconhecidos, Isto simplifica consideravelmente o problema, pois o likelihood pode ser escrito como um produto de n densidades de probabilidade univariáveis.

• E a monotonia do logaritmo não afeta as transformações. Chegamos a expressão:



59

• BIAS• O bias da estimativa maximum-likelihood pode ser um número

próximo ao resultado real.

• Considere um caso onde n tickets são enumerados de 1 ate n e são colocados em uma caixa. Um deles é escolhido por sorteio.

• Se n é desconhecido, então a estimativa maximum-likelihood de n é o valor descrito no ticket, mesmo conhecendo que a expectativa é apenas (n+1)/2.

• Em estimativas o número máximo n, será certamente maior ou igual ao número de tickets escolhidos.



60

• Asymptotics

• Quando as medidas de conjunto de elementos apresentam-se de forma identicamente independente, podemos por exemplo adquirir elementos repetitivos ou adquiridos ao acaso. Neste caso é interessante se obter o comportamento daquele conjunto de estimativas a medida que se aproximam do infinito.



61

• O MLE possui muitas caracteristicas que podem ser interpretadas para representar o que é "asymptotically optimal". Estas características incluem:

• The MLE é asymptotically unbiased,(imparcial) i.e., seu bias tende a zero com o número de amostras tendendo ao infinito.

• The MLE é asymptotically efficient, (eficiente)i.e., ele completa o Cramér-Rao lower bound quando o número de amostras tende ao infinito. Significa que este método possui menor erro mean squared ao MLE.

• O MLE is asymptotically normal. Com o número de amostras crescentes, a distribuição do MLE tende para distribuião Gaussiana com mean θ e a matriz de covariância igual ao inverso da matrix de informação de Fisher.



62

Pioneiro

Harald Cramér e

Calyampudi Radhakrishna Rao

•Pioneiros;•Conceitos;•Filtragem adaptativa;•Filtro de Wiener;•Algoritmo adaptativo;



63

• Na sua forma mais simples, a variância para qualquer estimativa imparcial é pelo menos tão elevado quanto o inverso da informação

Fisher. Uma estimativa impessoal que completa com êxito o lower bound é chamada eficiente. Desta maneira a solução conclui o mais baixo erro mean squared entre todos os métodos imparciais e é consequentemente a mínima variância imparcial.

• O Cramér–Rao bound possui 3 casos gerais. Um caso em que o parâmetro é escalar e sua estimativa é impessoal. Caso multivariado e caso geral escalar.

• Todos os casos possuem regularidades em suas condições que mantém comportamento bem distribuído.



64

• Suponha θ sendo um parâmetro determinístico desconhecido que será mensurado e estimado ao valor de x, distribuído de acordo com algumas funções de densidade de probavilidade f(x;θ). A variancia de qualquer estimativa imparcial de θ é então “saltado” pelo inverso da informação de Fisher I(θ):

• Onde a informação de Fisher I(θ) é definida por:

• E é o logarítmo natural da função likelihood e denota o valor esperado.



65

• A eficiencia é uma estimativa imparcial que mensura o quao próximo esta variância da estimativa se aproxima deste lower bound; a eficiencia estimativa é definida como:

• No mínimo possivel de variância para uma estimativa imparcial dividida por sua atual variância. O Cramér–Rao lower bound deste modo nos dá:



66

• Devore, J. L. Probabilidade Estatística para Engenharia e Ciências, Ed. Thomson, 6ª edição, 2006

• Freud J.E. & Simon G.A., Estatística Aplicada economia administração e contabilidade, Ed. Bookman, 9ª edição, 2000

• Meyer P.L, Probabilidade aplicações a Estatística, 2ª edição, Ed. LTC.

• Papoulis A. & Pillai S.U; Probability, Random Variables and Stochastic Processes, Ed. Mc Graw Hill

• Bussab W.O. & Morettin P.A.; Estatística Básica; 5ª edição, ed. Saraiva, 2004

REFERÊNCIAS

Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 1...

Documents

Transcript of Clique para editar o estilo do título mestre Clique para editar o estilo do subtítulo mestre 1...