Post on 30-Nov-2018
© Rausley A. A. de Souza-2011
Introdução à Teoria da Informação:
Codificação de Fonte
PÓS-GRADUAÇÃO EM ENGENHARIA DE REDES E SISTEMAS DE
TELECOMUNICAÇÕES
Prof. Rausley Adriano Amaral de Souza
rausley@inatel.br
2
© Rausley A. A. de Souza-2011
Conteúdo
• A Entropia como uma medida básica de informação.
• O Teorema da Codificação de Fonte e algoritmos de compactação de dados.
• Informação Mútua e sua relação com a capacidade do canal de informação para a transmissão de informação.
• Teorema da Codificação de Canal como base para comunicações confiáveis.
• Teorema da Capacidade de Informação como a base para a solução de compromisso entre a largura de faixa do canal e a relação sinal-ruído.
3
© Rausley A. A. de Souza-2011
FormatSourceencode
EncryptChannelencode
MultiplexPulse
modulateBandpassmodulate
Frequencyspread
MultipleAccess
XMT
Channel
FormatSourcedecode
DecryptChanneldecode
Demulti-plex
DetectDemod-ulate &Sample
Frequencydespread
MultipleAccess
RCV
Synch-ronization
Informationsource
Informationsink
Digitalinput
Digitaloutput
hc(t)Channelimpulseresponse
Optional
Essential
Bit streamDigital
basebandwaveform
Digitalbandpasswaveform
From othersources
To otherdestinations
Block diagram of a typical digital communication system
4
© Rausley A. A. de Souza-2011
Referências Bibliográficas• Este material está baseado nas seguinte referências:
– Notas de Aulas do prof. Geraldo Gil. Limites Fundamentais na Teoria da Informação.
– Sistemas de Comunicação. Analógicos e Digitais. Simon Haykin. 4ª Edição. Bookman
– Digital Communications – Fundamentals and Applications. Bernard Sklar. Second Edition. Prentice Hall.
• A Universal Algorithm for Sequential Data Compression. Lempel-Ziv Paper: IEEE Transactions on Information Theory, 23(3), pp. 337–343, May 1977. http://www.cs.duke.edu/courses/spring03/cps296.5/papers/ziv_lempel_1977_universal_algorithm.pdf
• Shannon Paper: http://www.stanford.edu/class/ee104/shannonpaper.pdf• A Mathematical Theory of Communication. C. E. SHANNON:
http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf• Huffman's original article: D.A. Huffman, "A Method for the Construction of
Minimum-Redundancy Codes", Proceedings of the I.R.E., September 1952, pp 1098–1102 http://compression.ru/download/articles/huff/huffman_1952_minimum-redundancy-codes.pdf
• Proof of the Kraft-McMillan Inequality: http://www.cl.cam.ac.uk/teaching/2004/InfoTheory/proofKraftMcMillan.pdf
5
© Rausley A. A. de Souza-2011
Duas questões fundamentais
• Qual é a complexidade irredutível abaixo da qual um sinal não pode ser comprimido?
• Qual é a máxima taxa de transmissão para uma comunicação confiável em um canal ruidoso?
• Resposta: codificação de fonte (comunicação eficiente) e codificação de canal (comunicação confiável).
6
© Rausley A. A. de Souza-2011
Incerteza, Informação e Entropia
• Seja um experimento probabilístico que envolva a observação da saída de uma fonte de eventos discretos em unidades de intervalo de tempo (intervalo de sinalização).
• Estes eventos podem ser modelados como variáveis discretas aleatórias (sk) que fazem parte de um conjunto ou alfabeto (S).– S = {s0, s1, ... , sK-1}
– probabilidades P(S = sk) = pk, para k = 0, 1, ... , K-1.
11
0
=∑−
=
K
k
kp
7
© Rausley A. A. de Souza-2011
Incerteza, Informação e Entropia
• Símbolos emitidos pela fonte sejam estatisticamente independentes
• Fonte discreta sem memória (tem o sentido de que o símbolo emitido a qualquer tempo é independente de uma escolha prévia).
• Um sistema com realimentação não é
uma fonte discreta sem memória
8
© Rausley A. A. de Souza-2011
Incerteza, Informação e Entropia
• Antes de o evento S = sk ocorrer, há incerteza. Quando o evento S = sk ocorre, há surpresa. Depois da ocorrência do evento S = sk , háganho na quantidade de informação, cuja essência pode ser vista como a resolução da incerteza.
• Incerteza ou surpresa: Se não há surpresa não há informação.
• A quantidade de informação, I(sk), obtida por um evento, sk
( ) bits 1
log2
=
k
kp
sI
9
© Rausley A. A. de Souza-2011
Propriedades da Quantidade de Informação
– Evidentemente, se estivermos absolutamente certosdo resultado de um evento, mesmo antes de ele ocorrer, nenhuma informação será ganha.
– Isto equivale a dizer que a ocorrência de um evento S = sk fornece alguma informação ou não fornece qualquer informação, jamais provoca perda de informação
( ) 1para0.1 == kk psI
( ) 10para0.2 ≤≤≥ kk psI
10
© Rausley A. A. de Souza-2011
Propriedades da Quantidade de Informação
– Ou seja, quanto menos provável um evento for, mais informação ganharemos quando ele ocorrer.
– Se sk e sl forem estatisticamente independentes.
( ) ( ) lklk ppsIsI <> então.3
( ) ( ) ( )lklk sIsIssI +=.4
11
© Rausley A. A. de Souza-2011
Exemplo
• Admitamos que p indique a probabilidade de algum evento. Represente graficamente a quantidade de informação obtida pela ocorrência deste evento para 0 ≤ p ≤ 1.
12
© Rausley A. A. de Souza-2011
Entropia
• A média da quantidade de informação I(sk)de uma fonte de alfabeto (S) é dada por
• H(S) é definida como entropia.
• A entropia determina a quantidade média de informação por símbolo (evento) da fonte.
( ) ( )[ ]
( ) ∑−
=
=
=
1
0
2
1log
K
k k
k
k
ppH
sIEH
S
S
13
© Rausley A. A. de Souza-2011
Propriedades da Entropia
– onde K é o número de símbolos do alfabeto da fonte
• H(S) = 0, se e somente se a probabilidade pk = 1 para um dado valor de k e todas as outras probabilidades são iguais a zero. Neste caso não há incerteza.
• H(S) = log 2 K, se e somente se pk = 1/K, ou seja, todos os símbolos são equiprováveis. Neste caso a incerteza é máxima.
( ) KH 2log0 ≤≤ S
14
© Rausley A. A. de Souza-2011
Exemplo
• Considere uma fonte discreta sem memória que emite os símbolos s0 = 0 e s1 = 1, com probabilidades p0 e p1, respectivamente. – Dica:
0 quando 0log →→ xxx
( ) ( ) ( )bits 1log1log 020020 ppppSH −−−−=
15
© Rausley A. A. de Souza-2011
Exemplo
• Uma fonte emite um de quatro símbolos possíveis durante cada intervalo de sinalização. Os símbolos ocorrem com probabilidades p0=0.4, p1=0.3, p2=0.2 e p3=0.1. Encontre a quantidade de informação obtida observando-se a emissão desses símbolos pela fonte.
16
© Rausley A. A. de Souza-2011
Exemplo
• Uma fonte emite um de quatro símbolos s0, s1, s2 e s3com probabilidades 1/3, 1/6, 1/4 e 1/4, respectivamente. Os símbolos sucessivos emitidos pela fonte são estatisticamente independentes. Calcule a entropia da fonte.
17
© Rausley A. A. de Souza-2011
Exemplo
• Calcule a média de informação, em bits/caractere, para o idioma inglês, assumindo que cada um dos 26 caracteres no alfabeto ocorrem com igual probabilidade. Não considere os espaços e pontuações.
• Como é sabido, os caracteres no alfabeto não aparecem com igual frequência no idioma inglês (ou em qualquer outro idioma), a resposta anterior representará um limitante superior na quantidade média de informação por caractere. Refaça os cálculos assumindo que os caracteres ocorrem com as seguintes probabilidades:– p = 0.10: para as letras a, e , o, t– p = 0.07: para as letras h, i, n, r, s– p = 0.02: para as letras c, d, f, l, m, p, u, y– p = 0.01: para as letras b, g, j, k, q, v, w, x,z
18
© Rausley A. A. de Souza-2011
Teorema da Codificação de Fonte
• Transmissão eficiente
• Necessidade de conhecimento da estatística da fonte
• Código Morse (código de tamanho variável)– e representada por um “⋅⋅⋅⋅”– q representada pela sequência “- ⋅⋅⋅⋅ - -”.
19
© Rausley A. A. de Souza-2011
Codificador de fonte
• Objetivo: retirar redundância
• Eficiência: De maneira geral, quanto menor o número de dígitos para a representação da mensagem melhor o sistema
• Classificação dos códigos de fonte– Comprimento fixo
– Comprimento variável
• Se alguns símbolos são mais prováveis que outros, os códigos de comprimento variável são mais eficientes
20
© Rausley A. A. de Souza-2011
Código ASCII
• b1,b2,b3,b4,b5,b6,b7 Souce: Wikipedia: http://en.wikipedia.org/wiki/ASCII
21
© Rausley A. A. de Souza-2011
Comprimento médio
– onde lk é o número de bits médio da palavra código correspondente ao símbolo k.
– Admitamos que Lmin seja o valor mínimo possível de . Definimos, então, a eficiência de codificação como
∑−
=
=1
0
K
k
kklpL
L
Lmin=η
L
22
© Rausley A. A. de Souza-2011
Exemplo
• Um arquivo com 10k símbolos é transmitido. Quantos bits, em média, são transmitidos com os códigos I e II.
111110,125S3
110100,125S2
10010,250S1
0000,500S0
Código IICódigo IProbabilidadeSímbolo
23
© Rausley A. A. de Souza-2011
Primeiro Teorema de Shannon
• Teorema da Codificação de Fonte: Dada uma fonte discreta sem memória de entropia H(S), o comprimento médio das palavras códigos para um esquema de codificação livre de distorção élimitado como
– A entropia H(S) representa um limite fundamental ao número médio de bits por símbolo da fonte necessário para representar uma fonte discreta sem memória no sentido de que ele pode ser tão pequeno quanto a entropia H(S), mas não menor do que ela.
( )SHL ≥
24
© Rausley A. A. de Souza-2011
Eficiência de codificação
• Uma vez que o Teorema da Codificação de Fonte admite que , então o maior valor possível para a eficiência de codificação de fonte é igual a unidade.
( )L
H S=η
( )SHL =
25
© Rausley A. A. de Souza-2011
Compactação de Dados
• Transmissão eficiente: informações redundantes devem ser removidas do sinal que serátransmitido.
• Compactação: não há perda de informação (compressão sem perdas),
• Compressão: admite-se perda de informação. • Na compactação de dados, o processo de codificação de fonte é limitado, necessariamente, pela entropia da fonte.
• A compactação de dados é obtida atribuindo-se descrições breves aos resultados mais frequentes da saída de fonte e descrições mais longas aos menos frequentes.
26
© Rausley A. A. de Souza-2011
Codificação de Prefixo
• Um código prefixo é aquele que nenhuma palavra código é prefixo para qualquer outra palavra código (singularmente decodificável).
• Exemplos de códigos de fonte
0111111110,125S3
011110000,125S2
011010,25S1
0000,5S0
Código IIICódigo IICódigo IProbabilidadeSímbolo
27
© Rausley A. A. de Souza-2011
Decodificação de um Código de Prefixo
• Árvore de decodificação para o Código II.
• Decodificação é inequívoca e instantânea.
• Decodifique 1011111000
28
© Rausley A. A. de Souza-2011
Desigualdade de Kraft-McMillan
• Uma condição necessária, mas não suficiente, para que um código possa ser um código prefixo
• Exemplo para os códigos I, II e III
121
0
≤∑−
=
−K
k
lk
29
© Rausley A. A. de Souza-2011
Propriedades adicionais
• Se a probabilidade de um evento é igual ao inverso da base numérica da codificação elevado ao comprimento da palavra código correspondente a este evento, ou seja
então
Entretanto, isso é uma casualidade uma vez que énecessário que a correspondência estabelecida ocorra para todas as probabilidades e suas respectivas palavras códigos. Para esta condição particular, diz-se que o código prefixo está casado com a fonte.
kl
kp−
= 2
( )SHL =
30
© Rausley A. A. de Souza-2011
Exemplo
• Analise os quatro códigos relacionados abaixo.a) Dois desses quatro códigos são códigos-prefixo.
Identifique-os e construa suas árvores de decisão individuais.
b) Aplique a desigualdade de Kraft-McMillan aos códigos. Discuta os resultados.
11111100111111S4
11011000101110S3
10011001110S2
01010110S1
00000S0
Código IVCódigo IIICódigo IICódigo ISímbolo
31
© Rausley A. A. de Souza-2011
Algoritmo de Huffman
• Exemplo de Código de Prefixo• Os símbolos da fonte são listados em ordem decrescente de
probabilidade. Aos dois símbolos de menor probabilidade, localizados no pé da coluna, são atribuídos os 0 e 1.
• Os dois símbolos de menor probabilidade são agrupados em um único símbolo, cuja probabilidade é a soma das probabilidades. As probabilidades são novamente listadas em ordem decrescente de probabilidade em uma segunda coluna. Na reordenação dos símbolos por ordem decrescente de probabilidade o novo símbolo, resultado do agrupamento, é colocado na posição mais alta possível, sem violar a ordem decrescente de probabilidade.
• O procedimento é repetido até que restem apenas dois símbolos, aos quais são atribuídos novamente os bits 0 e 1.
• As palavras códigos binárias são obtidas fazendo o caminho inverso, a partir da última coluna, em direção a primeira coluna, anotando-se os bits encontrados em cada percurso, até cada símbolo listado na primeira coluna
32
© Rausley A. A. de Souza-2011
Exemplo
• Suponha uma fonte discreta sem memória S = {s0, s1, s2, s3, s4} com probabilidades P(S = sk) = {0,4; 0,2; 0,2; 0,1; 0,1}. – Palavras códigos, Comprimento médio das palavras códigos, Entropia, Eficiência, Árvore de decisão
33
© Rausley A. A. de Souza-2011
Algoritmo de Huffman
• O processo de codificação de Huffman não é único– No agrupamento dos símbolos, o rótulo 0 e
1 para cada símbolo é arbitrário, poderia ser 1 e 0. Entretanto, a mesma convenção deve ser mantida do início ao fim.
– A colocação de símbolos combinados com mesma probabilidade que outro(s), na posição mais alta da coluna, também éarbitrário, poderia ser na posição mais baixa.
34
© Rausley A. A. de Souza-2011
Exemplo
• Refaça o exemplo anterior, adotando como padrão a colocação de símbolos combinados com mesma probabilidade que outro(s) na posição mais baixa da coluna.
35
© Rausley A. A. de Souza-2011
Variância do comprimento das palavras códigos
– Calcule a variância para os dois exemplos anteriores.
( )∑−
=
−=1
0
22K
k
kk Llpσ
36
© Rausley A. A. de Souza-2011
Exemplo
• Decodifique sequência 00010110111000 usando a árvore do exemplo no slide 32.
• O algoritmo de Huffman produz um código prefixo com comprimento médio próximo da entropia e inequivocamente decodificável.
37
© Rausley A. A. de Souza-2011
Exemplo
• A Figura exibe uma árvore de Huffman. Qual é a palavra código para os símbolos A, B, C, D, E, F e G representados por ela? Quais são seus tamanhos de palavra-código individuais?
38
© Rausley A. A. de Souza-2011
Extensão de uma Fonte Discreta sem Memória
• Considere com – P(S = sk) = {p0; p1; p2}.
• Extensão da fonte S em S2.
{ }210 ,, sss=S
p2. p2p2. p1p2. p0p1. p2p1. p1p1. p0p0. p2p0. p1p0. p0Probabilidades
σ8σ7σ6σ5σ4σ3σ2σ1σ0Símbolos
s2s2s2s1s2s0s1s2s1s1s1s0s0s2s0s1s0s0Blocos
{{{{ }}}}810
2 ,,, σσσ K====S
)()( SS nHH n ====
39
© Rausley A. A. de Souza-2011
Exemplo
• Suponha uma fonte discreta sem memória S = {s0, s1, s2} com probabilidades P(S = sk) = {0,6; 0,3; 0,1}. Admita que essa fonte deva ser codificada com um código prefixo com eficiência igual ou maior do que 0,95.
a) Codificação da fonte S
b) Codificação da fonte S2
40
© Rausley A. A. de Souza-2011
Codificação de Lempel-Ziv
• O algoritmo de Huffman pressupõe o conhecimento prévio da estatística da fonte.
• Para aplicações tais como compactações de textos existem códigos que se adaptam à estatística da fonte.
• O algoritmo de Lempel-Ziv é adaptativo e não necessita do conhecimento prévio da estatística da fonte.
• Usa palavras de comprimento fixo para representar um número variável de símbolos da fonte.
• Basicamente, a codificação no algoritmo de Lempel-Ziv é realizada analisando-se o fluxo de dados da fonte em segmentos que sejam as subsequências mais breves não encontradas anteriormente (no dicionário).
41
© Rausley A. A. de Souza-2011
Exemplo
• Codificação da sequência 000101110010100101. . . – Inicialmente os bits 0 e 1 são previamente
armazenados nas posições numéricas 0 e 1, conforme apresentado a seguir. Tais posições numéricas compõem o livro de códigos (codebook).
--Blocos codificados
10Subsequências
876543210Posição numérica
42
© Rausley A. A. de Souza-2011
Exemplo
• Codificação da sequência 000101110010100101. . .
– Em seguida, a subsequência mais curta, ainda não armazenada em nenhuma posição binária, é armazenada na posição 2 pelo codificador. Esta subsequência é 00. O processo de codificação consiste em transmitir a positransmitir a posiçção de ão de memmemóóriaria onde se encontra a parte da subsequência 00 jáarmazenada anteriormente, na forma binária, e o que énovidade simplesmente é repetido. Ou seja, da subsequência 00, o primeiro 0 se encontra na posição numérica 0 (000 em binário) e o segundo 0 simplesmente é repetido.
000 0--Blocos codificados
0010Subsequências
876543210Posição numérica
43
© Rausley A. A. de Souza-2011
Exemplo
• Codificação da sequência 000101110010100101. . .
– Novamente a próxima subsequência mais curta ainda não armazenada em nenhuma posição binária, que é a subsequência 01, é armazenada na posição 3. A posição de memória onde se encontra a parte da subsequência 01 jáarmazenada é a posição 0 (000 em binário) e a parte novidade, ou seja 1, é repetida. Logo, o bloco codificado agora é 0001.
000 10000--Blocos codificados
010010Subsequências
876543210Posição numérica
44
© Rausley A. A. de Souza-2011
Exemplo
• Codificação da sequência 000101110010100101. . .
• Este procedimento é repetido conforme apresentado na sequência a seguir.
011 100010000--Blocos codificados
011010010Subsequências
876543210Posição numérica
001 0011100010000--Blocos codificados
10011010010Subsequências
876543210Posição numérica
011 00010011100010000--Blocos codificados
01010 011010010Subsequências
876543210Posição numérica
45
© Rausley A. A. de Souza-2011
Exemplo
• Codificação da sequência 000101110010100101. . .
101 001100010011100010000--Blocos codificados
10001010 011010010Subsequências
876543210Posição numérica
101 1101001100010011100010000--Blocos codificados
10110001010 011010010Subsequências
876543210Posição numérica
46
© Rausley A. A. de Souza-2011
Codificação de Lempel-Ziv
• O codificador e o decodificador possuem o mesmo número de memórias no livro de códigos e, portanto, o decodificador conhece o tamanho do bloco codificado.
• O decodificador também inicia o processo de decodificação com os bits 0 e 1 armazenados nas posições numéricas 0 e 1.
• O decodificador compõe o seu próprio livro de código usando as memórias na mesma sequência que o codificador.
• Em comparação com a codificação de Huffman, o algoritmo de Lempel-Ziv usa códigos com tamanho fixo para representar um número variável de símbolos da fonte.
47
© Rausley A. A. de Souza-2011
Codificação de Lempel-Ziv
• Em uma primeira análise, podemos chegar à conclusão que este algoritmo não compacta nada, pelo contrário. Essa é uma idéia falsa uma vez que a sequência utilizada é muito curta para o algoritmo reconhecerpadrões de repetição. Conforme mencionado no livro texto, na prática, são utilizados blocos com 12 bits, o que resulta em 4096 posições no livro código. Além disso, o algoritmo de Lempel-Ziv reconhece redundância entre caracteres, o que não ocorre com o algoritmo de Huffman. Particularmente eficiente para compactação de textos, o algoritmo de Lempel-Ziv pode atingir uma taxa de compactação de 55% contra 43% do algoritmo de Huffman, para textos em inglês
48
© Rausley A. A. de Souza-2011
Exemplo
• Considere a seguinte sequência binária 111010011000101101001011010001...Use o algoritmo de Lempel-Ziv para codificar essa sequência. Suponha que os símbolos 0 e 1 já estejam no codebook.
49
© Rausley A. A. de Souza-2011
Canais Discretos sem Memória
• Discreto: os dois alfabetos possuem tamanhos finitos e o termo • Sem memória: o símbolo corrente presente na saída depende
apenas do símbolo corrente presente na entrada e de nenhum outro anterior.
• p(yk|xj) representa o conjunto das probabilidades de transição
( ) ( )jkjk xXyYPxyp === ||
50
© Rausley A. A. de Souza-2011
Matriz de canal ou matriz de transição
• Cada linha de P corresponde a um símbolo fixo de entrada e cada coluna a um símbolo fixo de saída.
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
=
−−−−
−
−
111110
111110
010100
|||
|||
|||
JKJJ
K
K
xypxypxyp
xypxypxyp
xypxypxyp
L
MMM
L
L
P( )∑
−
=
=1
0
1|K
k
jk xyp
( ) ( ) ( )jjkkj xpxypyxp |, =
( ) ( ) ( )∑−
=
=1
0
|J
j
jjkk xpxypyp
51
© Rausley A. A. de Souza-2011
Exemplo
• Canal binário simétrico (BSC)
• J = K = 2
• Alfabeto de entrada: x0 = 0, x1 = 1
• Alfabeto de saída: y0 = 0, y1 = 1
( )
( )
ppp
xyPp
xyPp
==
===
===
0110
01
10
1|0
0|1
52
© Rausley A. A. de Souza-2011
Exemplo
a) Seja o canal BSC do slide anterior. Considere que os símbolos 0 e 1 têm a mesma probabilidade de ocorrer. Encontre a probabilidade de os símbolos binários 0 e 1 aparecerem na saída do canal.
b) Repita o cálculo anterior, supondo que os símbolos binários de entrada 0 e 1 tenham probabilidades ¼ e ¾ de ocorrer, respectivamente.
53
© Rausley A. A. de Souza-2011
Teorema da Codificação de Canal
• Será que existe um esquema de codificação de canal eficiente o suficiente para tornar a
probabilidade de erro de bit arbitrariamente
baixa sem que a quantidade de redundância
introduzida seja demasiadamente alta?
54
© Rausley A. A. de Souza-2011
Terceiro Teorema de Shannon
• Teorema da Capacidade de Informação ou Teorema da Capacidade de Canal
• A capacidade de informação de um canal contínuo com largura de faixa de B hertz, perturbado por ruído Gaussiano branco aditivo de densidade espectral N0/2, é dada por
dada em bits por segundo, onde P é a potência média do sinal transmitido.
Se um canal discreto sem memória tem uma capacidade C e uma fonte gera informações a uma taxa menor que C, então existe uma técnica de codificação tal que a saída da fonte pode ser transmitida ao longo do canal com uma probabilidade arbitrariamente baixa deerro de símbolo1.
+=
B�
SBC
0
2 1log
1Simon Haykin, Michael Moher. “Sistemas Modernos de Comunicações Wireless” Bookman, 2008.
55
© Rausley A. A. de Souza-2011
Terceiro Teorema de Shannon
• Para um sistema ideal Rb = C.
• Então S = Eb/Tb = EbRb = EbC.
• � = �0 B
+=
+=
+=
�
S
B
C
�
E
B�
S
B
C b 1log1log1log 2
0
2
0
2
BC�
E BC
b 12
0
−−−−====
56
© Rausley A. A. de Souza-2011
Diagrama de Eficiência de Largura de Banda
• O limite é representado por uma fronteira entre a região em que é possível uma transmissão livre de erros (Rb < C) e a região em que isso não épossível (Rb > C) em um plano da eficiência de largura de faixa em função da relação entre a energia de bit e adensidade espectral de ruído.
1
57
© Rausley A. A. de Souza-2011
Observações
• Limite de Shannon para um canal AWGN (Largura de Banda Infinita): The ratio of energy per data bit Eb to one-sided noise power spectral density �0 in an AWG� channel above which errorless transmission is possible when bandwidth limitations are not placed on the signal and transmission is at channel capacity1.
• Compensações entre Eb/�0, Rb/B e aprobabilidade de Erro de símbolo Pe.
dB 6.1693.02log12
limlim0
−===
−
=
∞→∞→
BC�
E BC
Bb
B
1Bhargava, V.K. “Forward Error Correction Coding” Mobile Communications Handbook Ed. Suthan S. Suthersan
Boca Raton: CRC Press LLC, 1999
58
© Rausley A. A. de Souza-2011
Exemplo
• Um canal de faixa de voz da rede telefônica tem uma largura de banda de 3.4 kHz.
a) Calcule a capacidade de informação do canal telefônico correspondente a uma relação sinal-ruído de 30 dB.
b) Calcule a relação sinal-ruído mínima necessária para suportar transmissão de informação através do canal telefônico a uma taxa de 9600 bps.
59
© Rausley A. A. de Souza-2011
PSK M-ário e FSK M-ário
(a) Comparison of M-ary PSK against the ideal system for Pe = 10−5 and increasing M. (b) Comparison of M-ary FSK against the ideal system for Pe = 10 −5 and increasing M.
60
© Rausley A. A. de Souza-2011
Exemplo
• Considere a necessidade de transmissão a uma taxa de 100 kbps em um sistema de voz (com largura de banda de 3 kHz). É possível a transmissão nesta taxa (livre de erros) com um SNR de 10 dB? Justifique sua resposta. Se não for possível, quais as possíveis modificações no sistema?
61
© Rausley A. A. de Souza-2011
Exemplo
• Uma imagem de televisão em preto e branco pode ser vista como uma imagem que consiste em aproximadamente 3×105 elementos, em que cada um tem a mesma probabilidade de ocupar um dos 10 níveis de brilhos distintos. Suponha que (1) a taxa de transmissãoseja de 30 quadros de imagem por segundo e que (2) a relação sinal-ruído seja de 30 dB. Usando o teorema da capacidade de informação, calcule a largura de banda mínima necessária para suportar a transmissão do sinal de vídeo resultante.
62
© Rausley A. A. de Souza-2011
Futuro
• “When determining the best area on which to focus future technology enhancements, it is interesting to note that HSDPA, 1xEV-DO, and IEEE 802.16e-2005 all have highly optimized links—that is, physical layers. In fact, as shown in Figure 16, the link layer performance of these technologies is approaching the theoreticallimits as defined by the Shannon bound. (The Shannon bound is a theoretical limit to the information transfer rate [per unit bandwidth] that can be supported by any communications link. The bound is afunction of the Signal to Noise Ratio [SNR] of the communications link.) Figure 16 also shows that HSDPA, 1xEV-DO, and IEEE 802.16e-2005 are all within 2 to 3 decibels (dB) of the Shannon bound, indicating that there is not much room for improvement from a link layer perspective. Note that differences do exist in the design of the MAC layer (layer 2) and this may result in lower than expected performance in some cases as described previously”. From: http://www.3gamericas.org/documents/EDGE_HSPA_and_LTE_Broadband_Innovation_Rysavy_Sept_2008.pdf
63
© Rausley A. A. de Souza-2011
64
© Rausley A. A. de Souza-2011
Exercício Adicional
• O alfabeto de uma fonte discreta sem memória écomposto por 5 símbolos. Os símbolos emitidos pela fonte devem ser codificados por meio de um código prefixo a partir do histograma da frequência de emissão apresentado abaixo. O número total de símbolos do histograma foi emitido em 1 ms. Pede-se:
a) A entropia da fonte.
b) As palavras códigos de umcódigo prefixo para esta fonte.
c) A eficiência de codificação.
d) Determine qual é a taxa de bit na saída do codificadorde fonte.
0
50
100
150
200
250
300
350
400
450
S0 S1 S2 S3 S4
Símbolos
Número de Símbolos
65
© Rausley A. A. de Souza-2011
Exemplo
a) Encontre a capacidade média, em bps, que seria necessária para transmitir um sinal de TV em preto e branco de alta-resolução à taxa de 32 quadros (imagens) por segundo. Cada imagem é composta de até 2×106 elementos e 16 diferentes níveis de brilho. Todos os elementos são independentes e tem a mesma probabilidade de ocorrência.
b) Para um TV em cores, este sistema adicionalmente fornece 64 diferentes combinações de cores. Quanto será o adicional de capacidade necessária comparada com o sistema em preto e branco?
c) Encontre a capacidade necessária se, das combinações cor - níveis de brilho, 100 elementos ocorrem com probabilidade 0.003, 300 das combinações ocorrem com probabilidade 0.001 e 624 das combinações ocorrem com probabilidade 0.00064.