Processos estoc asticos, Entropia e capacidade de...

Processos estocasticos, Entropia e capacidade decanal para sinais contınuos

Luis Henrique Assumpcao Lolis

24 de setembro de 2013

Luis Henrique Assumpcao Lolis Processos estocasticos, Entropia e capacidade de canal para sinais contınuos1

Conteudo

1 Probabilidade de sinais contınuos

2 Definicao de processo estocastico

3 Entropia em sistemas contınuos

4 Entropias conjuntas e condicionais e Informacao mutua

5 Ruıdo na entropia de Y

6 Capacidade do canal aditivo gaussianoEmpacotamento em esferasNocao de constelacaoEficiencia Espectral x Eb/N0

Sumario

Revisao de processos estocasticos

Ate agora falamos de fontes discretas. Nao se explica aorigem do erro na transicao e nao e uma descricao maiscorreta do canal. O ruıdo pode ter uma continuidade deamplitudes, bem como o sinal util analogico tambem.

Em um sinal discreto se falava da probabilidade de um evento.Em um sinal contınuo existe a probabilidade de um eventoestar entre um intervalo de a→ b. Para saber a probabilidadede um sinal estar entre −∞ e x se usa Densidade deProbabilidade Acumulada.

Para sistemas discretos, a soma das probabilidades e igual a 1.Em sistemas contınuos, a Densidade de ProbabilidadeAcumulada comeca em 0 e termina em 1.

Propriedades:

(i) 0 ≤ F (x) ≤ 1(ii) limx→∞ F (x) = 1(iii) limx→−∞ F (x) = 0(iv) F (x) e nao decrescente em x, se a < b, entao F (a) ≤ F (b)A Funcao de Densidade de Probabilidade ou F.D.P. e dadacomo a derivada da distribuicao de probabilidade acumulada :

p(x) =dF (x)

dx∫ x

−∞p(u)du = F (x)− F (−∞) = F (x)∫ ∞

−∞p(x)dx = F (∞)− F (−∞) = 1∫ b

p(x)dx = F (b)− F (a) = P (x ≤ b)− P (x ≤ a) = P (a <

x ≤ b)

A funcao de densidade de probabilidade mais importante paranos e a distribuicao normal, ou gaussiana. A sua integral, ouseja, a distribuicao de probabilidade acumulada e calculadaatraves da funcao de erro erf(x).

E(x) =

∫ ∞−∞

x · p(x)dx

Variancia

var(x) = E[(x− E(x))2

]=∫ ∞

−∞(x− E(x))2 · p(x)dx

F.D.P da curva normal -gaussiana

p(x) =1

σ√2π

{− (x− µ)2

erf(x) =2√π

exp(−t2)dt

Todas as propriedades de probabilidade continuam validas.Onde havia uma somatoria para variaveis discretas agora euma integral:

Distribuicao de Probabilidade Acumulada Conjunta:

F (x, y) = P (x ≤ x,y ≤ y)Funcao de Densidade de Probabilidade Conjunta:

p(x, y) =∂2F (x, y)

∂x∂y

∫ ∞−∞

p(x, y)dxdy = 1

Funcao de Densidade de Probabilidade Marginal:

p(x) =

∫ ∞−∞

p(x, y)dy q(y) =

∫ ∞−∞

p(x, y)dx

Funcao de densidade de probabilidade condicional:

p(x|y) = p(x, y)

q(y)q(y|x) = p(x, y)

Covariancia:

cov(x,y) = E [(x− E(x)) · (y − E(y))] =∫ ∞−∞

∫ ∞−∞

(x− E(x)) · (y − E(y)) · p(x, y) · dxdy

cov(x,x) =var(x)

Coeficiente de correlacao:

ρ =cov(x,y)√var(x)var(y)

Correlacao:

R(x, y) = E(x · y) =∫ ∞−∞

∫ ∞−∞

x · y · p(x, y) · dxdy

Sumario

{X(t), t ∈ T}.Probabilidade de t0,x(t0).

Entender o sinal como estocastico para cada ponto de t.

Todas as possıveis realizacoes de x(t) definem a variavelestocastica.

A distribuicao de x(t) e contınua, entao x(t) e uma variavelestocastica contınua.

Sumario

Entropia em sistemas contınuos

Um processo estocastico no tempo, contem para cada instante dotempo, um valor aleatorio, cujas caracterısticas de probabilidade saodescritas pela funcao de densidade de probabilidade. Se ascaracterısticas da funcao de densidade de probabilidade nao variamno tempo, o sinal pode ser chamado de estacionario.

Se um sinal nao varia de maneira infinitamente rapida, isso significaque ele possui banda passante finita. Esse sinal pode ser entaodescrito como uma sequencia de amostras discretas com no mınimoduas amostras por ciclo da frequencia mais rapida do sinal(NYQUIST). Em comunicacoes digitais esse resultado e importantepois essa abstracao vai permitir calcular taxas de erro binarioatraves do teorema da capacidade do canal de Shannon.

Entropia em sistemas contınuos

Revisao: Entropia no caso discreto:

H(x) =

J−1∑j=0

p(xj) log2

)J sendo um numero finito.

Entropia no caso contınuo (entropia relativa ≡ entropiadiferencial):

h(x) =

∫ ∞−∞

p(x) log2

Sem fazer alguma hipotese sobre p(x), h(x) pode ser infinita.p(x) a densidade de probabilidade de x

Limitando p(x) em amplitude

Para limitar h(x), algumas hipoteses devem ser feitas emtorno de x ou p(x) para poder limitar a entropia de fontescontınuas.

Se limitarmos a amplitude de x entre (−A,A). Consideramosa distribuicao de probabilidade uniforme:

p(x) =1

2Apor ser limitada em amplitude ela satisfaz a

relacao:

−A= 1

h(x) =

2Alog2(2A)dx = log2 2A

Limitando p(x) em potencia

Consideramos um sinal de potencia constante, i.e. varianciaconstante σ2 = E

[(x− E(x))2

]e media µ = E(x)

A distribuicao normal e aquela que contem a maiorquantidade de informacao para sinais contınuos apotencia constante

A entropia da variavel gaussiana nao depende da suamedia

Quando se fala de ruıdo gaussiano ou normal e o pior casopara considerar o canal. O resultado da quantidade deinformacao sinal gaussiano e o mais Aplicado para inferirvalores de taxa de erro binario.

Calculando a entropia da distribuicao normal

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

}∫ ∞−∞

p(x) = 1

E(x) = µ

∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) =

∫ ∞−∞

p(x) log2

p(x) =1

σ√2π

{− (x− µ)2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

h(x) = −∫ ∞−∞

p(x) log2

σ√2π

{− (x− µ)2

h(x) = −∫ ∞−∞

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

[(x− µ)2

2σ2log2 e

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

h(x) =2 log2

(σ√2π)+ log2 e

h(x) =log2

(σ22π

)+ log2 e

(2πeσ2

Sumario

Entropia conjunta e condicional

Quantidade de informacao conjunta:

H(X,Y ) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log p(x, y)dxdy

Quantidade de informacao condicional:

H(X|Y ) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log p(x|y)dxdy

H(Y |X) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log p(y|x)dxdy

Informacao mutua

I(X ;Y) = h(X )− h(X|Y)Revisao: em sistemas discretos

I(X ;Y) =K−1∑k=0

J−1∑j=0

p(xj , yk) log2

[p(yk|xj)p(yk)

]= I(Y;X )

Em sistemas contınuos

I(X ;Y) =∫ ∞−∞

∫ ∞−∞

p(x, y) log2

[p(x|y)p(x)

I(X ;Y) =∫ ∞−∞

∫ ∞−∞

p(x, y) log2

[p(x, y)

p(x)p(y)

Sumario

Ruıdo na entropia de Y

Vamos usar a hipotese de um canal gaussiano aditivo.Gaussiano porque o ruıdo do canal se comporta como umavariavel contınua com distribuicao normal. Aditivo pois:n = y − xq(y|x) = q((x+ n)|x). Como o ruıdo e independente de x:q((x+ n)|x) = p(n|x) = p(n) = p(y − x)A incerteza de y dado x e a quantidade de informacao(entropia) de n.

h(Y|X ) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log2 [q(y|x)] dxdy

= −∫ ∞−∞

∫ ∞−∞

p(x)q(y|x) log2 [q(y|x)] dxdy

= −∫ ∞−∞

∫ ∞−∞

p(x)p(n) log2 [p(n)] dxdn

= −∫ ∞−∞

p(n) log2 [p(n)] dn = h(N )

Sumario

Capacidade do canal aditivo gaussiano

Para canais discretos estava definido como a maximainformacao mutua. No caso de sinais contınuos e a mesmacoisa:

C = maxp(x) {h(Y)− h(Y|X )} = maxp(x) {h(Y)− h(N )} =maxp(x) {h(Y)} − h(N )

Se o ruıdo e gaussiano a sua entropia ja foi calculada:

h(N ) = log2 σn√2πe bits/amostra

Agora definimos o ruıdo com banda passante finita de B eque pode se amostrado a cada TS = 1/(2B) (respeitandoassim o criterio de Nyquist), que e o tempo de cada amostra.A entropia passa a ser medida em bits/seg.

h(N ) =1

TSlog2

[(2πeσ2n)

= 2B log2[(2πeσ2n)

= B log2(2πeσ2n) bits/seg

Para ter o maximo em H(Y), H(Y) tem de ser gaussiano, ecomo y = x+ n, e n e gaussiano, entao x tem de sergaussiano tambem.

Quanto mais X se comportar como um sinal aleatoriogaussiano mais ele vai ter entropia e mais proximo vaiestar no limite da capacidade do canal. O desafio nacriacao de codigos, sujeito de pesquisa ate hoje, e acriacao de codigos que tenha um comportamento maisgaussiano possıvel.

C = maxp(x) {h(Y)} − h(N )

A potencia em Y e dada por: py = σ2y = σ2x + σ2n

O maximo em H(Y):maxp(x){H(Y)} = 1

(σ2x + σ2n

)}bits/amostra

= B log2{2πe

(σ2x + σ2n

)}bits/seg

Considerando que a potencia e constante, a capacidade e:

C = B log2{2πe

(σ2x + σ2n

)}−B log2

{2πeσ2n

}= B log2

(σ2x + σ2nσ2n

)= B log2

(px + pnpn

)= B log2

)btis/seg

Nota intuitiva

Quanto menos potencia de ruıdo relac~ao ao sinal,

maior e a quantidade de informac~ao que eu posso

transmitir nesse canal, ou seja, maior e a

capacidade. A capacidade do canal e mais sensıvel a

banda passante B que a relac~ao sinal sobre ruıdo

Considerando o ruıdo como branco de densidade espectral depotencia N0 e de banda passante B, a capacidade e:

C = B log2

)Veja que para Px/(BN0) a relacao e logarıtmica e que

para aumentar a capacidade e melhor aumentar B do quea relacao sinal sobre ruıdo.Esse resultado e um limite teorico para codigos que sejamsuficientemente complexos para se aproximar desse limite.Para se aproximar desse limite o sinal deve ter propriedadesque se aproximem do ruıdo gaussiano.

Empacotamento em esferas

Nocao de constelacao

Eficiencia Espectral x Eb/N0

P = EbC

P : potencia, Eb: energia do bit, C: capacidade (bits/seg)

B= log2

)⇒ Eb

2C/B − 1

Quando B →∞ se obtem o limite de Shannon:

Eb/N0 = −1, 6dB(Eb

)= limB→∞

)= log2 = 0, 693

Eficiencia Espectral x Eb/N0

Processos estoc asticos, Entropia e capacidade de...

Documents

Transcript of Processos estoc asticos, Entropia e capacidade de...

C odigos de bloco - professorluislolis.weebly.com · E um codigo que as palavras c odigos cont em uma repeti˘c~ao da mensagem da fonte com kbits mais a parte de checagem redundante

Oficinas de DivinópolisCada uma das 10 composições, cada qual com seis carros, terá capacidade para transportar até 1.500 passagei-ros. Os trens terão corredores contí-nuos

Professor Dr. Luis Henrique Assumpção Lolis - Home - C odigos …professorluislolis.weebly.com/uploads/1/3/2/7/13273601/3... · 2018. 9. 7. · Encontre H, a partir de Gdo c odigo

Processos Aleat orios e Ru do - Professor Dr. Luis ...professorluislolis.weebly.com/uploads/1/3/2/7/13273601/8-proc... · Nota˘c~ao Descri˘c~ao Matem atica Descri˘c~ao Verbal A[B

Como fazer a seleção de equipamentos?comprimentos de 3 a 3,7 m são mais fáceis de manejar durante a formação e a fabricação dos transportadores contí-nuos. Seções longas

Sinais e Sistemas - professorluislolis.weebly.comprofessorluislolis.weebly.com/uploads/1/3/2/7/13273601/3-sinais_e... · Sinais e Sistemas Luis Henrique Assump˘c~ao Lolis 21 de fevereiro

Meta-aprendizado aplicado a fluxos cont nuos de dados · Meta-aprendizado aplicado a fluxos cont nuos de dados Andr Luis Debiaso Rossi ! Orientador : Prof. Dr . Andr Carlos Ponce

Projeto baseado em emula o de modelos cont nuos e ...alimped/ia361_slides_9_2014.pdf · Sistemas com transmissão pela rede Projeto de controle Tipos de protocolo Descrição do problema

Macrozoneamento do Municipio de Uberlandia 2019 Model (1servicos.uberlandia.mg.gov.br/uploads/cms_b_arquivos/... · 2019. 6. 17. · Title C:\PMU TRAB\NUOS\MAPAS\Mapas Alterados 9\Macrozoneamento

Sinais e Sistemas - professorluislolis.weebly.com · Sinais Determin sticos e Aleat orios Sinais Determin sticos Se sabe o valor do sinal para qualquer instante de tempo. Pode se

Meta-aprendizado aplicado a fluxos cont nuos de dados · viagens à minha cidade natal. – “Porque a luz do sol vale mais que os pensamentos de ... aplicasãoapresentadosnascolunasRef.,Medida

Gerando senos - Professor Dr. Luis Henrique Assumpção Lolisprofessorluislolis.weebly.com/uploads/1/3/2/7/13273601/6-gerando_… · Explicando o fator de escala Os ^angulos a serem

Aula 4 - Reatores Cont-Nuos

ADVANCES IN THE DESIGN OF SOLAR CONCENTRATORS … · Avan˘cos no desenho de concentradores solares para aplica˘c~oes t ermicas Resumo ... para prim arios cont nuos para concentra˘c~ao

AM - professorluislolis.weebly.comprofessorluislolis.weebly.com/.../1/3/2/7/13273601/5-modulao_am.pdf · A simplicidade da modula˘c~ao AM Modulador chaveado Demodulador - Detector

Corynespora cassiicolaainfo.cnptia.embrapa.br/digital/bitstream/item/222596/1/...nuos. Quanto ao crescimento radial, este meio de cultura foi ligeiramente inferior aos demais, em regime

Manual tecnico Nuos 80-100-120 ES tecni… · 14 Evaporador gas refrigerante/aire 15 Conexión tubería aire extraído . Tabla de datos técnicos . Descripción Unidad NUOS 80 NUOS

C odigos convolucionais - Professor Dr. Luis …professorluislolis.weebly.com/uploads/1/3/2/7/13273601/5...do slide 9 Desenhe o caminho percorrido em treli˘ca do c odigo do slide