Aula 02: Revisão de Probabilidade e Estatística

02/04/2014

1

Aula 02: Revisão de Probabilidade e Estatística

Prof. Leonardo Menezes

Tópicos em Telecomunicações

Sumário

• O que é estatística

• O que é probabilidade

• Variáveis aleatórias

• Distribuição de Probabilidade

• Momentos

• Aplicações

• Mapeamentos

O que é estatística

• Estatística é o estudo de dados – Coleta

– Organização

– Análise

– Interpretação

– Apresentação

• O que significa isso? – Estatística tenta fazer estabelecer parâmetros a

partir dos dados que são coletados

02/04/2014

2


• Coleta

– Como devo coletar os dados

– Quantas amostras são necessárias

– Que informação eu posso extrair desta coleta

– Qual é o erro que tenho ao assumir que a informação extraída é a informação verdadeira.


• Exemplo 1: Na 2ª Guerra Mundial os aliados precisavam determinar o número de tanques dos alemães. Ao capturar tanques alemães eles encontraram um número de série em cada um deles

– A partir destes números, eles estimaram quantos tanques alemães tinham sido produzidos.


• Pergunta: Quantos tanques alemães foram produzidos em dado ano?

• Neste caso: – A coleta e a quantidade de amostras foi

especificada externamente

• O que falta: – A informação que posso extrair desses dados

– O erro que tenho ao assumir que a informação extraída é a informação verdadeira

02/04/2014

3

O que é estatística?

• Dados:

– 10 tanques foram capturados

– Números de série dos tanques capturados:

• 239, 23, 251, 219, 91, 154, 436, 408, 500, 123.

• Depois vamos voltar a este problema.


• Exemplo 2: Queremos saber a preferência de forma de deslocamento para UnB. As opções são:

– Somente de carro

– Outros

• Pergunta: Quantas pessoas usam somente carro para vir a UnB?

• Depois voltamos a este problema...

O que é probabilidade

• Probabilidade é o estudo de fenômenos aleatórios

– Usa informações do conjunto de total dados para obter estimativas para amostras (muito importante em estatística)

– É a fundação matemática da estatística:

• Somente com probabilidade é que conseguimos responder as perguntas formuladas nos dois exemplos.

02/04/2014

4


• Então se queremos diferenciar probabilidade de estatística: – Probabilidade usa informações do conjunto

completo de dados para estimar informações em amostras

– Estatística usa informações de amostras para estimar informações do conjunto completo de dados.

• Na realidade, precisamos das duas na análise de dados.


• A probabilidade está mais ligada a chance. Mas com este parâmetro permite estimar outros

• Exemplo 3: Moeda honesta (cara ou coroa). Qual é a chance de obter 3 caras e 3 coroas em 6 jogadas da moeda?

• Exemplo 4: Moeda desonesta (60% cara e 40% coroa). Qual é a chance de obter 3 caras e 2 coroas em 5 jogadas da moeda?

• Depois voltamos a estes problemas


• Para definirmos a estatística de um experimento (ou teste), precisamos definir antes o conjunto de todos os resultados possíveis deste experimento.

– Este conjunto é chamado de espaço amostral {A}

– Qualquer subconjunto de {A} é chamado de evento

• A probabilidade de ocorrência do evento {B} ( que é um subconjunto de eventos aleatórios pertencente a A) é um número real que representa a chance de ocorrência de A1

02/04/2014

5


• No caso de uma coleção de eventos:

• Temos que, se os mesmos forem disjuntos

• Então

kAAAB ...21

{}ji AA

j

jAPBP


• Com estas informações podemos começar a entender probabilidade a partir de um caso mais próximo a nossa realidade: uma moeda.

– Espaço amostral de A : Cara {X1} e Coroa {X2}

– Cara e Coroa são eventos disjuntos e compõem todo o espaço amostral {X}

• Portanto:

12121

21

XPXPXXPXP

XXX


• Voltemos ao Exemplo 3: Moeda honesta (cara ou coroa). Qual é a chance de obter 3 caras e 3 coroas em 6 jogadas da moeda?

– Como a moeda é honesta, então a chance de obter cara é igual a de obter coroa, logo:

2

1

)(

1

)(

qp

qp

qcoroaP

qp

pcaraP

02/04/2014

6


• O próximo passo é listar todas as chances de acontecimento

• Como jogar as moeda não afeta as probabilidades (elas não se alteram a cada jogada), então 6 jogadas equivalem a:

1161520156164

1

161520156

1

1

6542332456

6

qpqqpqpqpqpp

qp

qpqpqpqpqpqp


• Portanto a chance de obter 3 caras e 3 coroas em 6 jogadas da moeda é

• Com base neste resultado podemos encontrar a resposta ao exemplo 4: Moeda desonesta (60% cara e 40% coroa). Qual é a chance de obter 3 caras e 2 coroas em 5 jogadas da moeda?

3125.064

2020 33 qp


• Neste caso, como a moeda é não honesta, então as chances são fornecidas:

• Listando as possibilidades 10

4)(

10

6)( qcoroaPpcaraP

13248144216162243625

1

1510105

1

1

54322345

5

qpqqpqpqpp

qp

qpqpqpqpqp

02/04/2014

7


• Portanto a chance de obter 3 caras e 2 coroas em 5 jogadas da moeda é

• Note que a chave é encontrar as probabilidades adequadamente representadas

3456.0625

21610 23 qp

Variáveis Aleatórias

• Mas ao invés de simplesmente nomear eventos (Cara ou Coroa), podemos associar números a estes eventos

• Por exemplo: – Cara = 1 & Coroa = 0 (ou vice-versa)

• Ao fazermos isto, estamos associando variáveis aleatórias a eventos. – Isto ampliará em muito a representação de

chance.


• Assim como podemos associar um número ao evento (x) também podemos representar a probabilidade, no caso de Cara {x=1} ou Coroa {x=0} como:

1

0)(

1)(

qpXP

qXPcoroaP

pXPcaraP

02/04/2014

8


• As variáveis aleatórias podem ser contínuas (também descontínuas) ou discretas

– As discretas assumem valores bem definidos

– As contínuas tem sua probabilidade definida por intervalos

1yYP

yYP

1yP


• No caso das variáveis aleatórias (VA) contínuas, há um mapeamento entre os números reais e as variáveis de modo que: – Se

– Então

• Este mesmo raciocínio é aplicado para VA discreta

21 yy

21 yYPyYP

Distribuição de Probabilidade

• Desta forma podemos definir a função de distribuição de probabilidade acumulada F(x) (tanto para VA contínua quanto discreta):

2121 xFxFxx

xXPxF

0lim xFx

1lim xFx

02/04/2014

9


• Apesar do conceito de probabilidade poder ser usado tanto para o caso de VA contínua quanto discreta

– É mais simples entender probabilidade através de VA discreta

• A probabilidade de um evento X1 ocorrer em n tentativas é

n

nXp X

n1lim1


• Isto quer dizer que a probabilidade é dada pela razão do número de vezes que ocorreu X1 sobre o número total de tentativas

– Esta abordagem é chamada de frequentista (em oposição a abordagem bayesiana).

• No caso contínuo podemos definir a função densidade de probabilidade como

dx

xdFxp


• Há várias densidades de probabilidades conhecidas. No caso de uma variável aleatória temos as mais conhecidas:

– Normal (ou Gaussiana)

– Uniforme

2

2

2

1

x

exp

cc

bxaabxp

.0

1

02/04/2014

10


• Distribuição Normal


• Distribuição Uniforme (contínua)


• Distribuição Uniforme (discreta)

02/04/2014

11


• Através das distribuições de probabilidade estimar regiões de maior probabilidade

– Basicamente este é o conceito dos intervalos de confiança

– Isto é mais fácil de entender na distribuição de probabilidade uniforme contínua

– A Função distribuição é

ab

axxF


• Note que podemos calcular a probabilidade do ponto estar em determinado intervalo (por exemplo de x1 a x2)

ab

xxxPxP

1212

xxab

x

xxab

x

21

22


• Centrando em torno da média e fazendo pontos equidistantes da média podemos encontrar os intervalos de confiança

• Podemos também definir em função do desvio padrão

xPxPab

xab

xxPxP

2

2

xPxPx

xPxPx

3

2

12

02/04/2014

12

Momentos

• A partir do conhecimento da definição, podemos encontrar os momentos da distribuição

– Podem ser “puros” (não centrados) ou “centrais” (centrados)

– Os momentos centrais são medidos com relação a média .

kxE kxE

Momentos

• Os momentos tem algumas propriedades úteis:

xyEyExEyxE

ybExaEbyaxE

aaE

2222

Momentos

• O momento de ordem k é dado por

– No caso discreto temos variáveis discretas

– No caso contínuo temos variáveis contínuas

N

i

k

ii

N

i

k

ii

N

i

k

i

x

n

k xpxxpxn

nxE i

111

lim

dxxpxxE kk

02/04/2014

13

Momentos

• O momento de ordem zero é sempre 1

111

00

N

i

i

N

i

ii xpxxpxE

100 dxxpdxxpxxE

Momentos

• O primeiro momento é a média da distribuição (mesma equação da média ponderada)

N

i

ii

N

i

ii xxpxxpxE11

11

dxxxpdxxpxxE 11

Momentos

• Os momentos seguintes são definidos em termos dos momentos centrais

• Temos

– Variância – ordem 2

– Skewness (distorção) – ordem 3

– Kurtosis (curtose) – ordem 4

xxE var2

3xE

4xE

02/04/2014

14

Momentos

• Variância:

Momentos

• Skewness:

Momentos

• Kurtosis:

02/04/2014

15

Momentos

• A relação da variância com os momentos puros:

22

2222

22

222

var

2

2

2

xExEx

xExExE

ExExE

xxExE

Momentos

• A variância da soma de duas variáveis aleatórias

xyyx

yxEyExE

yxyxE

yxEyx

yxyx

yxyx

yx

cov2varvar

2

2

var

22

22

2

Momentos

• Naturalmente, se

• Ou seja a covariância entre as variáveis é nula. Então

• Se a covariância é nula, estas variáveis são ditas não correlacionadas

yxyx varvarvar

0cov xy

02/04/2014

16

Momentos

• Se duas variáveis são não correlacionadas então

• Exemplo 5. Um divisor de tensão entre dois resistores, tem que um deles é uma VA de distribuição uniforme entre 1 e 2 W. O outro, aonde a tensão é medida também é uma VA de distribuição uniforme entre 1 e 2 W. As duas VAs não tem correlação. Qual é a média e o desvio padrão da tensão?

• Voltaremos a este exemplo depois

ypxpyxp ,

Momentos

• Mas o que significa variância?

– Usando a analogia de circuitos

• Consideremos a janela de tempo de 0 a T como uma distribuição uniforme

• A nossa “variável aleatória” será a tensão nos terminais de um resistor R

cc

TtTtp

.0

00

1

Momentos

• Portanto

DC

T

VdtT

tvtvE 0

1

22

2

0

2

0

11

RMS

RMS

TT

VtvE

R

Vdt

TR

tvdt

TtitvtpE

02/04/2014

17

Momentos

• Portanto

– O primeiro momento puro equivale o “valor DC”

– O segundo momento “puro” é equivalente ao quadrado do valor RMS.

DCVtvE

22

RMSVtvE

Momentos

• Com isso podemos pensar no segundo momento central como – A energia do sinal “fora” do valor médio (DC), ou

seja, uma forma de dispersão do sinal. • Se o segundo momento for zero a energia está toda

concentrada na média

• A medida que o momento aumenta, mais energia estará espalhada ao redor da média

– A raiz quadrada da variância é chamada de desvio padrão

DCmédioDCRMS

DC

WWVV

tvEtvEVtvE

22

222

Momentos

• Primeiros momentos das distribuições contínuas apresentadas

– Normal

– Uniforme

xE 22 xE

2

abxE

122

2

2

2

ababxE

02/04/2014

18

Momentos

• Ligando a probabilidade e a estatística

– Vamos considerar que foram retirados N amostras de uma distribuição com média e desvio .

– Esta distribuição pode ter uma densidade de probabilidade a priori desconhecida.

• Agora temos dados ao invés de ligações matemáticas abstratas.

– Como podemos saber quais os momentos da distribuição das amostras?

Momentos

• Sabemos que

• O que temos é:

• Estes foram obtidos aleatoriamente!

xE 22 xE

NXXX ,...,, 21

Momentos

• Vamos considerar a soma de todos os dados amostrados

• Se repetirmos a amostragem infinitas vezes, o valor esperado desta soma é

N

k

kNN XXXXs1

21 ...

NXEXEsEN

k

N

k

k

N

k

kN

111

02/04/2014

19

Momentos

• Como:

• Definindo a média amostral

• Então a expectativa da média amostral é:

NsEN

NN

sEN

XEN

XN

EXE

N

N

k

k

N

k

k

11

11

11

N

k

kXN

X1

1

Momentos

• Pergunta: De que isso adianta? Afinal teremos que repetir infinitas vezes... – Não é o caso, pois podemos provar que a

diferença entre a média amostral e converge para zero com aumento do número de amostras...

– Basta provar que a variância da diferença da média amostral e tende a zero quando o número de amostras tende ao infinito

• Vamos encontrar a variância da diferença (que é a variância da média amostral)

Momentos

• O segundo momento central é:

• Portanto a variância diminui linearmente com o aumento do número de amostras – Note que para que isto seja verdade a covariância

entre as amostras tem de ser zero

N

NN

XN

XN

XN

X

N

k

k

N

k

k

N

k

k

22

21

2

12

1

1var

1

var11

varvar

0cov xy

02/04/2014

20

Momentos

• Alternativamente:

N

NNN

XEXEN

XEN

XN

E

XEXXEXE

N

k

k

N

k

k

N

k

k

N

k

k

22222

2

2

2

11

2

2

2

1

2

2

2

2

1

22222

1

1

11

2

Momentos

• Temos então um estimador do primeiro momento da distribuição (média)

• E o segundo momento (variância)?

X

XN

X

N

N

k

k

lim

1

1

Momentos

• Vamos calcular o estimador da variância da amostra considerando a média .

N

k

kk

N

k

k

N

k

k

XXXXXXN

XXXN

XN

S

1

22

1

2

1

22

21

11

02/04/2014

21

Momentos

• Calculando o valor esperado

N

XXEN

XN

EXXXN

EXXN

E

XN

XXXN

XXN

E

XXXXXXN

ESE

N

k

k

N

k

N

k

k

N

k

k

N

k

N

k

k

N

k

k

N

k

kk

2

1

2

1

2

11

2

1

2

11

2

1

2222

01

121

121

21

Momentos

• Rearranjando

• Portanto, há um desvio no estimador que pode ser corrigido fazendo

22

1

2

2

1

22

11

01

SENNXXE

NXXE

N

N

k

k

N

k

k

N

k

k

N

k

k

XXN

s

XXN

EsE

1

22

2

1

22

1

1

1

1

Aplicações

• Muito bem, mas e como vamos aplicar isso?

• Voltamos ao problema do tanque (exemplo 1): – 10 tanques foram capturados

– Números de série dos tanques capturados: • 239, 23, 251, 219, 91, 154, 436, 408, 500, 123.

• A distribuição em questão é uniforme (os números vão de 1 até M) – Sabemos quanto é a média de uma distribuição

uniforme e a variância

02/04/2014

22

Aplicações

• Média

• Variância

122

1

M

M

112

12

1 2

2

2

MM

Aplicações

• Para calcular a média e a variância usamos os estimadores das amostras

• Além disto temos a relação entre o desvio da média amostral e real

N

k

k XXN

s1

22

1

1

N

k

kXN

X1

1

N

M

NXE

12

122

2

Aplicações

• Resultados: – Média da amostra: 244.4 – Variância da amostra: 25998.3 – Desvio padrão da amostra: 158.1

• Resultados do espaço amostral original – Média: 250.5 – Variância: 20750.1 – Desvio padrão: 144.1 – Variância da média da amostra em relação a média

real: 2075.0 – Desvio padrão: 45.6

02/04/2014

23

Aplicações

• Resultados: – Estimador pela média: 487.8000

– Estimador pela variância: 547.7045

– Média dos dois: 517.7523

– Considerando distribuição uniforme:

– Valor real de M: 500

518

31.1584.244

M

Aplicações

• Voltemos ao exemplo 2: Quantas pessoas usam somente carro para vir a UnB?

• Vamos dizer que você entrevistou N pessoas aleatoriamente e descorrelacionadas e obteve as proporções p e q

– M pessoas vinham de carro (p)

– N-M pessoas não vinham de carro (q)

– O que podemos dizer a respeito do seu resultado?

Aplicações

• Primeiro associamos VA a cada probabilidade

– 1 para p & 0 para q

– M amostras escolheram p e N-M escolheram q

• Então usando a relação da média amostral:

pN

MMNM

NX

NX

N

k

k

0111

1

N

MNq

N

Mp

02/04/2014

24

Aplicações

• Então usando a relação da variância da amostra:

pqN

Npp

N

Nppp

N

N

ppN

M

N

M

N

N

N

NpMpM

pMNpMN

XXN

sN

k

k

11

12

1

211

2

011

1

1

1

22

22

22

1

22

Aplicações

• Pelas relações de variância da média sabemos que:

• Portanto, a proporção de pessoas que vem de carro para UnB é aproximadamente

1

22

N

pq

NXE

1

1'

N

pppp

Aplicações

• Só para fazer uma idéia: digamos que foram entrevistadas 101 pessoas e que a proporção p foi de 30%

– Temos então

05.030.0' p

02/04/2014

25

Mapeamentos

• Em muitas aplicações em engenharia temos uma combinação de entradas (ou estímulos) aleatórios com determinísticos

• Por exemplo: – Variações na fabricação de componentes

– Incertezas com relação a posicionamento

– Incertezas devido a variáveis muito complexas

• Nestes casos, temos uma relação (equação ou procedimento determinístico) associado a efeitos aleatórios

Mapeamentos

• Nestas situações temos um mapeamento definido de entradas aleatórias (combinadas com determinísticas)

– Desejamos saber qual é a estatística da saída

• Frequentemente média e desvio padrão

• Por vezes intervalos de confiança ou mesmo a distribuição de probabilidade (ou sua densidade) do resultado

– A técnica mais comum é Monte Carlo

Mapeamentos

• Como funciona Monte-Carlo?

– Temos o mapeamento definido

– Geramos uma quantidade de pontos aleatórios suficiente para nossa finalidade

– Submetemos cada um desses pontos ao mapeamento

– Investigamos a estatística da saída

• Média, desvio, distribuição, etc...

02/04/2014

26

Mapeamentos

• Exemplo: mapeamento f(x)

– Geramos os pontos aleatórios (a distribuição tem de ser conhecida)

– Submetemos ao mapeamento e obtemos a estatística da saída

N

k

kf XfXfN

s1

22

1

1

N

k

kXfN

Xf1

1

Nk XXXX ,...,..., 21

Mapeamentos

• Em casos aonde o problema possa ser definido de forma analítica, calculamos os momentos da saída

dxxpxfxfEkk

Mapeamentos

• Exemplo 6. Um divisor de tensão entre dois resistores, tem que um deles é uma VA de distribuição uniforme entre 1 e 2 W. O outro, aonde a tensão é medida é um resistor de 1 W. Qual é a média e o desvio padrão da tensão?

01

1V

xV

02/04/2014

27

Mapeamentos

• Usando a definição

0

2

1

0 4054651084.02

3ln

1

1Vdx

xVVEV

2

0

2

2

1

2

0

2

002264712.03ln6

1

2

3ln2ln2

2

3ln

1

1

V

dxx

V

Mapeamentos

• O desvio padrão é a raiz da variância, logo

• Podemos que dizer (com o erro de 1 desvio)

• Note que o valor considerando tudo determinístico é 0.4V0

020475889903.0 V

00475889903.04054651084.0 VV

Mapeamentos

• Vamos calcular este resultado por Monte Carlo

– Para simplificar fazemos V0=1

• Calculamos a tensão em N amostras aleatórias do valor da resistência (distribuição uniforme entre 1 e 2)

• Resultados

– N=10

– N=100

– N=1000

00558.04046.0 VV

00445.04056.0 VV

00483.04038.0 VV

00475889903.04054651084.0 VV

02/04/2014

28

Mapeamentos

• Código MATLAB – Monte Carlo para o Problema • % Teste para Monte Carlo • clear • % Número de amostras • N=100000; • % Amostras de resistencia • R=1+rand(1,N); • % Calculo da tensão • V=1./(1+R); • % Média da tensão • Vm=mean(V); • % Desvio da tensão • Vd=sqrt(var(V)); • % Escreve a média e o desvio • [Vm Vd]

Mapeamentos

• Note que a convergência não é monotônica

– Monte Carlo tem convergência lenta

• Para N=1.000.000

• Este é o maior problema de Monte Carlo – demanda muitas amostras

00475.04053.0 VV

00475889903.04054651084.0 VV

Mapeamentos

• E se fizermos pela UT?

– De novo para simplificar fazemos V0=1

• Calculamos a tensão em 3 amostras do valor da resistência (distribuição uniforme entre 1 e 2) – R=1.1125, R=1.5, R=1.8875

– w1=0.278, w2=0.444, w3=0.278

• Resultados

00476.04055.0 VV

00475889903.04054651084.0 VV

02/04/2014

29

Mapeamentos

• Código MATLAB – UT para o Problema • % Teste para UT • clear • % Pontos sigma • sg=[-0.775 0 0.775]'; • % Pesos • w=[0.278 0.444 0.278]; • % Valores de Resistência • R1=1+1/2*(1+sg); • % Valores de Tensão • V1=1./(1+R1); • % Média • Vm=w*V1; • % Variancia • Va=w*((V1-Vm).^2); • % Desvio • Vd=sqrt(Va); • [Vm Vd]

Mapeamentos

• Finalmente, voltemos ao exemplo 5. Um divisor de tensão entre dois resistores, tem que um deles é uma VA de distribuição uniforme entre 1 e 2 W. O outro, aonde a tensão é medida também é uma VA de distribuição uniforme entre 1 e 2 W. As duas VAs não tem correlação. Qual é a média e o desvio padrão da tensão?

0Vxy

yV

Mapeamentos

• Usando a definição

0

2

1

2

1

0 5.02

1Vdydx

xy

yVVEV

2

0

2

1

2

1

2

0

2

004736820.03ln52ln94

3

2

1

V

dydxxy

yV

02/04/2014

30

Mapeamentos

• O desvio padrão é a raiz da variância, logo

• Podemos que dizer

• Note que o valor considerando tudo determinístico é 0.5V0

070688245595.0 V

070688245595.05.0 VV

Mapeamentos

• E com relação a distribuição?

– Caso contínuo: Utiliza-se o jacobiano do mapeamento y=g(u) da função densidade de probabilidade p(u)

– A função distribuição de probabilidade

dy

ydgygp

dg

ydgygpypT

11

11

yy

T dwdw

wdgwgpdwwpyF

11

Mapeamentos

• No caso de mapeamentos polinomiais este cálculo é menos complicado

– A inversa do polinômio pode ser calculada (mas nem sempre é simples)

– Mapeamento

– Função densidade de probabilidade

2

2

2

1u

eup

01

2

2 auauaugy

02/04/2014

31

Mapeamentos

• Portanto

2

022

2

11

2

022

2

11

1

2

44

2

44

a

aayaaa

a

aayaaa

ygu

022

2

1

022

2

111

44

1

44

1

aayaa

aayaa

dy

ygd

dg

ygd

Mapeamentos

• Portanto, a nova função densidade de probabilidade

• Para a0=a1=0:

yaaaa

e

yaaaa

eyp

a

yaaaaa

a

yaaaaa

202

2

1

44

2

1

2

1

202

2

1

44

2

1

2

1

44442

1

2

2

202211

2

2

202211

ya

eyp

a

y

2

2

2

2

Conclusão

• Apresentados os conceitos básicos de estatística e probabilidade

• Revisados os conceitos de momentos

• Revisados os conceitos de distribuição de probabilidade e densidade de probabilidade

• Apresentado o conceito de mapeamento

Aula 02: Revisão de Probabilidade e Estatística

Documents

Transcript of Aula 02: Revisão de Probabilidade e Estatística