Processos estoc asticos, Entropia e capacidade de...

Processos estocasticos, Entropia e capacidade decanal para sinais contınuos

Luis Henrique Assumpcao Lolis

24 de setembro de 2013

Luis Henrique Assumpcao Lolis Processos estocasticos, Entropia e capacidade de canal para sinais contınuos1

Conteudo

1 Probabilidade de sinais contınuos

2 Definicao de processo estocastico

3 Entropia em sistemas contınuos

4 Entropias conjuntas e condicionais e Informacao mutua

5 Ruıdo na entropia de Y

6 Capacidade do canal aditivo gaussianoEmpacotamento em esferasNocao de constelacaoEficiencia Espectral x Eb/N0


Sumario








Revisao de processos estocasticos

Ate agora falamos de fontes discretas. Nao se explica aorigem do erro na transicao e nao e uma descricao maiscorreta do canal. O ruıdo pode ter uma continuidade deamplitudes, bem como o sinal util analogico tambem.

Em um sinal discreto se falava da probabilidade de um evento.Em um sinal contınuo existe a probabilidade de um eventoestar entre um intervalo de a→ b. Para saber a probabilidadede um sinal estar entre −∞ e x se usa Densidade deProbabilidade Acumulada.

Para sistemas discretos, a soma das probabilidades e igual a 1.Em sistemas contınuos, a Densidade de ProbabilidadeAcumulada comeca em 0 e termina em 1.


Propriedades:

(i) 0 ≤ F (x) ≤ 1(ii) limx→∞ F (x) = 1(iii) limx→−∞ F (x) = 0(iv) F (x) e nao decrescente em x, se a < b, entao F (a) ≤ F (b)A Funcao de Densidade de Probabilidade ou F.D.P. e dadacomo a derivada da distribuicao de probabilidade acumulada :

p(x) =dF (x)

dx∫ x

−∞p(u)du = F (x)− F (−∞) = F (x)∫ ∞

−∞p(x)dx = F (∞)− F (−∞) = 1∫ b

a

p(x)dx = F (b)− F (a) = P (x ≤ b)− P (x ≤ a) = P (a <

x ≤ b)


A funcao de densidade de probabilidade mais importante paranos e a distribuicao normal, ou gaussiana. A sua integral, ouseja, a distribuicao de probabilidade acumulada e calculadaatraves da funcao de erro erf(x).

Media

E(x) =

∫ ∞−∞

x · p(x)dx

Variancia

var(x) = E[(x− E(x))2

]=∫ ∞

−∞(x− E(x))2 · p(x)dx

F.D.P da curva normal -gaussiana

p(x) =1

σ√2π

exp

{− (x− µ)2

2σ2

}erf

erf(x) =2√π

∫ x

0

exp(−t2)dt


Todas as propriedades de probabilidade continuam validas.Onde havia uma somatoria para variaveis discretas agora euma integral:

Distribuicao de Probabilidade Acumulada Conjunta:

F (x, y) = P (x ≤ x,y ≤ y)Funcao de Densidade de Probabilidade Conjunta:

p(x, y) =∂2F (x, y)

∂x∂y

∫ ∞−∞

∫ ∞−∞

p(x, y)dxdy = 1

Funcao de Densidade de Probabilidade Marginal:

p(x) =

∫ ∞−∞

p(x, y)dy q(y) =

∫ ∞−∞

p(x, y)dx


Funcao de densidade de probabilidade condicional:

p(x|y) = p(x, y)

q(y)q(y|x) = p(x, y)

p(x)

Covariancia:

cov(x,y) = E [(x− E(x)) · (y − E(y))] =∫ ∞−∞

∫ ∞−∞

(x− E(x)) · (y − E(y)) · p(x, y) · dxdy

cov(x,x) =var(x)

Coeficiente de correlacao:

ρ =cov(x,y)√var(x)var(y)

Correlacao:

R(x, y) = E(x · y) =∫ ∞−∞

∫ ∞−∞

x · y · p(x, y) · dxdy


Sumario








{X(t), t ∈ T}.Probabilidade de t0,x(t0).

Entender o sinal como estocastico para cada ponto de t.

Todas as possıveis realizacoes de x(t) definem a variavelestocastica.

A distribuicao de x(t) e contınua, entao x(t) e uma variavelestocastica contınua.


Sumario








Entropia em sistemas contınuos

Um processo estocastico no tempo, contem para cada instante dotempo, um valor aleatorio, cujas caracterısticas de probabilidade saodescritas pela funcao de densidade de probabilidade. Se ascaracterısticas da funcao de densidade de probabilidade nao variamno tempo, o sinal pode ser chamado de estacionario.

Se um sinal nao varia de maneira infinitamente rapida, isso significaque ele possui banda passante finita. Esse sinal pode ser entaodescrito como uma sequencia de amostras discretas com no mınimoduas amostras por ciclo da frequencia mais rapida do sinal(NYQUIST). Em comunicacoes digitais esse resultado e importantepois essa abstracao vai permitir calcular taxas de erro binarioatraves do teorema da capacidade do canal de Shannon.


Entropia em sistemas contınuos

Revisao: Entropia no caso discreto:

H(x) =

J−1∑j=0

p(xj) log2

(1

p(xj)

)J sendo um numero finito.

Entropia no caso contınuo (entropia relativa ≡ entropiadiferencial):

h(x) =

∫ ∞−∞

p(x) log2

(1

p(x)

)dx

Sem fazer alguma hipotese sobre p(x), h(x) pode ser infinita.p(x) a densidade de probabilidade de x


Limitando p(x) em amplitude

Para limitar h(x), algumas hipoteses devem ser feitas emtorno de x ou p(x) para poder limitar a entropia de fontescontınuas.

Se limitarmos a amplitude de x entre (−A,A). Consideramosa distribuicao de probabilidade uniforme:

p(x) =1

2Apor ser limitada em amplitude ela satisfaz a

relacao:

∫ A

−A= 1

h(x) =

∫ A

−A

1

2Alog2(2A)dx = log2 2A


Limitando p(x) em potencia

Consideramos um sinal de potencia constante, i.e. varianciaconstante σ2 = E

[(x− E(x))2

]e media µ = E(x)

A distribuicao normal e aquela que contem a maiorquantidade de informacao para sinais contınuos apotencia constante

A entropia da variavel gaussiana nao depende da suamedia

Quando se fala de ruıdo gaussiano ou normal e o pior casopara considerar o canal. O resultado da quantidade deinformacao sinal gaussiano e o mais Aplicado para inferirvalores de taxa de erro binario.


Calculando a entropia da distribuicao normal

h(x) =

∫ ∞−∞

p(x) log2

(1

p(x)

)dx

p(x) =1

σ√2π

exp

{− (x− µ)2

2σ2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2



h(x) =

∫ ∞−∞

p(x) log2

(1

p(x)

)dx

p(x) =1

σ√2π

exp

{− (x− µ)2

2σ2

}

∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2



h(x) =

∫ ∞−∞

p(x) log2

(1

p(x)

)dx

p(x) =1

σ√2π

exp

{− (x− µ)2

2σ2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2



h(x) =

∫ ∞−∞

p(x) log2

(1

p(x)

)dx

p(x) =1

σ√2π

exp

{− (x− µ)2

2σ2

}∫ ∞−∞

p(x) = 1

E(x) = µ

∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2



h(x) =

∫ ∞−∞

p(x) log2

(1

p(x)

)dx

p(x) =1

σ√2π

exp

{− (x− µ)2

2σ2

}∫ ∞−∞

p(x) = 1

E(x) = µ∫ ∞−∞

(x− E(x))2 · p(x)dx =

∫ ∞−∞

(x− µ))2 · p(x)dx = σ2


h(x) = −∫ ∞−∞

p(x) log2

(1

σ√2π

exp

{− (x− µ)2

2σ2

})dx

h(x) = −∫ ∞−∞

p(x)

[− log2

(σ√2π)− (x− µ)2

2σ2log2 e

]dx

h(x) =∫ ∞−∞

p(x)[log2

(σ√2π)]dx+

∫ ∞−∞

p(x)

[(x− µ)2

2σ2log2 e

]dx

h(x) = log2(σ√2π)+

log2 e

2σ2σ2

h(x) = log2(σ√2π)+

log2 e

2

h(x) =2 log2

(σ√2π)+ log2 e

2

h(x) =log2

(σ22π

)+ log2 e

2=

1

2log2

(2πeσ2

)


Sumario








Entropia conjunta e condicional

Quantidade de informacao conjunta:

H(X,Y ) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log p(x, y)dxdy

Quantidade de informacao condicional:

H(X|Y ) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log p(x|y)dxdy

H(Y |X) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log p(y|x)dxdy


Informacao mutua

I(X ;Y) = h(X )− h(X|Y)Revisao: em sistemas discretos

I(X ;Y) =K−1∑k=0

J−1∑j=0

p(xj , yk) log2

[p(yk|xj)p(yk)

]= I(Y;X )

Em sistemas contınuos

I(X ;Y) =∫ ∞−∞

∫ ∞−∞

p(x, y) log2

[p(x|y)p(x)

]dxdy

I(X ;Y) =∫ ∞−∞

∫ ∞−∞

p(x, y) log2

[p(x, y)

p(x)p(y)

]dxdy


Sumario








Ruıdo na entropia de Y

Vamos usar a hipotese de um canal gaussiano aditivo.Gaussiano porque o ruıdo do canal se comporta como umavariavel contınua com distribuicao normal. Aditivo pois:n = y − xq(y|x) = q((x+ n)|x). Como o ruıdo e independente de x:q((x+ n)|x) = p(n|x) = p(n) = p(y − x)A incerteza de y dado x e a quantidade de informacao(entropia) de n.

h(Y|X ) = −∫ ∞−∞

∫ ∞−∞

p(x, y) log2 [q(y|x)] dxdy

= −∫ ∞−∞

∫ ∞−∞

p(x)q(y|x) log2 [q(y|x)] dxdy

= −∫ ∞−∞

∫ ∞−∞

p(x)p(n) log2 [p(n)] dxdn

= −∫ ∞−∞

p(n) log2 [p(n)] dn = h(N )


Sumario








Capacidade do canal aditivo gaussiano

Para canais discretos estava definido como a maximainformacao mutua. No caso de sinais contınuos e a mesmacoisa:

C = maxp(x) {h(Y)− h(Y|X )} = maxp(x) {h(Y)− h(N )} =maxp(x) {h(Y)} − h(N )

Se o ruıdo e gaussiano a sua entropia ja foi calculada:

h(N ) = log2 σn√2πe bits/amostra

Agora definimos o ruıdo com banda passante finita de B eque pode se amostrado a cada TS = 1/(2B) (respeitandoassim o criterio de Nyquist), que e o tempo de cada amostra.A entropia passa a ser medida em bits/seg.

h(N ) =1

TSlog2

[(2πeσ2n)

1/2]

= 2B log2[(2πeσ2n)

1/2]

= B log2(2πeσ2n) bits/seg


Para ter o maximo em H(Y), H(Y) tem de ser gaussiano, ecomo y = x+ n, e n e gaussiano, entao x tem de sergaussiano tambem.

Quanto mais X se comportar como um sinal aleatoriogaussiano mais ele vai ter entropia e mais proximo vaiestar no limite da capacidade do canal. O desafio nacriacao de codigos, sujeito de pesquisa ate hoje, e acriacao de codigos que tenha um comportamento maisgaussiano possıvel.

C = maxp(x) {h(Y)} − h(N )

A potencia em Y e dada por: py = σ2y = σ2x + σ2n

O maximo em H(Y):maxp(x){H(Y)} = 1

2log2

{2πe

(σ2x + σ2n

)}bits/amostra

= B log2{2πe

(σ2x + σ2n

)}bits/seg


Considerando que a potencia e constante, a capacidade e:

C = B log2{2πe

(σ2x + σ2n

)}−B log2

{2πeσ2n

}= B log2

(σ2x + σ2nσ2n

)= B log2

(px + pnpn

)= B log2

(1 +

pxpn

)btis/seg

Nota intuitiva

Quanto menos potencia de ruıdo relac~ao ao sinal,

maior e a quantidade de informac~ao que eu posso

transmitir nesse canal, ou seja, maior e a

capacidade. A capacidade do canal e mais sensıvel a

banda passante B que a relac~ao sinal sobre ruıdo


Considerando o ruıdo como branco de densidade espectral depotencia N0 e de banda passante B, a capacidade e:

C = B log2

(1 +

Px

BN0

)Veja que para Px/(BN0) a relacao e logarıtmica e que

para aumentar a capacidade e melhor aumentar B do quea relacao sinal sobre ruıdo.Esse resultado e um limite teorico para codigos que sejamsuficientemente complexos para se aproximar desse limite.Para se aproximar desse limite o sinal deve ter propriedadesque se aproximem do ruıdo gaussiano.


Empacotamento em esferas


Nocao de constelacao


Eficiencia Espectral x Eb/N0

P = EbC

P : potencia, Eb: energia do bit, C: capacidade (bits/seg)

C

B= log2

(1 +

Eb

N0

C

B

)⇒ Eb

N0=

2C/B − 1

C/B

Quando B →∞ se obtem o limite de Shannon:

Eb/N0 = −1, 6dB(Eb

N0

)= limB→∞

(Eb

N0

)= log2 = 0, 693


Eficiencia Espectral x Eb/N0


Processos estoc asticos, Entropia e capacidade de...

Documents

Transcript of Processos estoc asticos, Entropia e capacidade de...