Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

36
Universidade Federal de São Carlos Programa de Pós-Graduação Estruturas de Aplicações Distribuídas e Multimídia Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Wesley Barbosa Thereza

description

Universidade Federal de São Carlos Programa de Pós-Graduação Estruturas de Aplicações Distribuídas e Multimídia. Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Wesley Barbosa Thereza. Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital. - PowerPoint PPT Presentation

Transcript of Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Page 1: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Universidade Federal de São CarlosPrograma de Pós-Graduação

Estruturas de Aplicações Distribuídas e Multimídia

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Wesley Barbosa Thereza

Page 2: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Princípios da Compressão de Dados– Porque dados podem ser comprimidos– Como medir a performance da compressão– Como as técnicas de compressão são classificadas

Técnicas de Compressão de Dados Técnicas de Compressão de Áudio Técnicas de Compressão de Imagem e Vídeo Compressão Multimídia e Padrões de Codificação

Page 3: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Princípios da Compressão de Dados– Porque dados devem ser comprimidos

• O grande requisito de armazenamento de dados multimídia.

• A velocidade relativamente lenta dos dispositivos de armazenamento que não podem apresentar dados multimídia (principalmente vídeo) em tempo-real.

• A largura de banda da rede que não permite a transmissão de vídeo em tempo-real.

Page 4: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Princípios da Compressão de Dados

– Redundância de Dados• Redundância em Áudio Digital (Predictive Coding e Silence Removal)

• Redundância em Imagens Digitais (Spatial Redundancy)

• Redundância em Vídeos Digitais (Redundância Temporal)

– Propriedades da Percepção Humana• Seres humanos toleram alguns erros de informação o a perda sem afetar a

efetivação da comunicação;

• Versão comprimida não precisa representar a informação original exatamente.

Page 5: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Princípios da Compressão de Dados

– Classificação das Técnicas de Compressão• Lossless: dado original pode ser reconstruído exatamente;

– Programas de computador, documentos legais e médicos;

– Baixa compressão e utiliza redundância de dados.

• Lossy: contrário do anterior– Áudio digital, imagem e vídeo;

– Alta compressão e utiliza redundância de dados e propriedades da percepção humana.

• Taxa de Bit Constante X Taxa de Bit Variável

Page 6: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Princípios da Compressão de Dados

– Medida da Performance de Compressão• Razão de compressão: razão entre o dado original e o tamanho depois

da compressão– Quanto maior a razão, melhor a técnica de compressão

• Qualidade de mídia reconstruída: não é bom ter uma alta razão de compressão, mas com uma qualidade de mídia reconstruída baixa

• Complexidade de implementação• Velocidade de compressão:

– aplicações de tempo real (vídeo conferência)– compressão e descompressão (Técnicas de compressão Simétrica e

Assimétrica)

Page 7: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão Lossless– Entropy Coding

• Medida de Informação;

• Huffman Coding = alocação de prioridade aos símbolos do fluxo de dados;

– Run-Lenght Coding• Run = ocorrência repetida de um mesmo caracter;

• Lenght = número de repetições;

– Lempel-Ziv-Welch (LZW) Coding• Constrói um dicionário de frases (grupos de um ou mais caracteres)

Page 8: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Áudio– Nonlinear Quantization

– Predictive Coding

– Masking Property (MPEG)• Os sons mascarados não são audíveis, portanto, é possível descartá-los sem afetar

a qualidade do áudio.

• Possui os algoritmos MPEG layer 1, 2 e 3.

• A complexidade aumenta conforme aumenta a “layer”.

Page 9: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Imagem Digital e Vídeo

– Há dependências temporal e spatial entre os pixels;

– Esses pixels têm diferentes freqüências de ocorrência;

– Esses pixels não são muito importantes para a nossa percepção.

Page 10: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Imagem Digital e Vídeo

– Há dependências temporal e spatial entre os pixels;– Esses pixels têm diferentes freqüências de ocorrência;– Esses pixels não são muito importantes para a nossa percepção.– O sistema de visão humano é explorado, já que esse sistema pode tolerar

alguns erros e diferentes dados com diferentes importâncias visuais.• Ocultamento dos detalhes não visíveis pelo olho humano;

• Descartamento das cores intermediárias.

Page 11: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Imagem Digital e Vídeo– Spatial and Temporal Subsampling Coding: simples, mas eficiente

• No codificador: 1 pixel a cd. Poucos e 1 frame a cd. Poucos;

• No decodificador: pixels e frames ausentes são interpolados baseado nos pixels e frames recebidos.

– Predictive Coding: previsão dos pixels adjacentes• Correlação: indica que uma previsão de valores de amostra baseados em valores

de amostra de elementos vizinhos da picture resulta em erros previstos, que têm uma variância menos do que os valores de amostragem originais.

Page 12: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Imagem Digital e Vídeo– Conditional Replenishment: localiza diferenças entre os frames

• Divisão da imagem em partes fixas e móveis

• O dado é transmitido somente com as partes móveis

– Motion Estimation and Compensation: é dividido em blocos de tamanho fixo• Deslocamento de blocos da imagem

• O pixel difference block é, geralmente, bem pequeno e é mais eficiente transmitir o motion vector e a diferença do que transmitir a descrição do bloco atual sozinho.

Page 13: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Imagem Digital e Vídeo– Transform coding

• Conversão dos elementos independentes da imagem em coeficientes independentes, seguida de transformação linear da imagem para descobrir a freqüência dos blocos.

• Algoritmos de transform coding: – Karhunen-Louve Transform (KLT), Discrete Cosine Transform (DCT), Discrete Fourier

Transform (DFT)

– Hybrid coding• Combinação de transform coding com predictive coding

– Subband coding• Divisão da imagem original em sub-imagens. É transmitida uma sub-imagem e uma

série de filtros.

Page 14: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Técnicas de Compressão de Imagem Digital e Vídeo– Fractal image coding

• Transformação de imagens em formulas matemáticas.

– Model- and Knowledge-based coding• Construção de uma base de dados

– Vector quantization • Construção dos codebooks com vetores de tamanho fixo

Page 15: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– Para aplicações de áudio digital e imagem que envolvem armazenamento ou

transmissão, se tornarem difundidos no mercado, padrões para métodos de compressão de áudio e imagem são necessários para manter a interoperabilidade dos equipamentos utilizados.

– Os cinco mais importantes padrões de compressão audiovisual

• JPEG;• ITU-TS H.261;• MPEG;• ITU-TS H.263;• ISO JBIG.

Page 16: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– Compressão de imagens:

• JPEG, GIF, PNG.

– Compressão de áudio: • MPEG 3, RAM (streaming).

– Compressão de vídeo: • MPEG 1,2,4, H.261, H.263, H.324, DivX, IMA.

Page 17: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– JPEG: 4 modos de operação

• Lossy sequential DCT-based encoding: cada componente da imagem é codificado em um único left-to-right, top-to-bottom scan (baseline mode);

• Expanded lossy DCT-based encoding: provê o aumento para o modo de operação baseline;

• Lossless enconding: a imagem é codificada para garantir a exata reprodução;

• Hierarchical encoding: a imagem é codificada em múltipla resoluções.

Page 18: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG: 8 estágios para o desenvolvimento de um padrão

• Identificar os requerimentos;

• Produzir uma chamada para propostas;

• Testar as propostas;

• Desenvolver um modelo de referência;

• Otimizar o algoritmo;

• Escrever o padrão;

• Verificar o padrão;

• Produzir teste de conformidade.

Page 19: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Audio: descreve a compressão de sinais de áudio usando esquemas

de codificação de alta performance• Layer 1, 2 e 3;

• Para cada Layer, o padrão especifica um formato bitstream e o decodificador;

• Não especifica um codificador, mas exemplifica um para cada Layer;

• O codificador analisa os componentes do espectro do sinal de áudio, calculando um filterbank ou transformando e aplicando um modelo psychoacoustic para estimar somente o nível de ruído audível. Nos estágios de quantização e codificação, o codificador tenta alocar o número de bits disponível de forma a encontrar o bitrate e o masking requeridos.

• O decodificador é mais simples. A sua única tarefa é sintetizar um sinal de saída de áudio fora dos componentes do espectro codificados.

Page 20: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Audio:

• Todos os Layers utilizam a mesma informação de cabeçalho nos seus bitstreams, para suportar a estrutura da hierarquia do padrão;

• Podem usar essas taxas de amostragem: 32, 44.1 ou 48 kHz;

• Os bitrates de cada Layer:

– Layer 1: 32 – 448 kbps;

– Layer 2: 32 – 384 kbps;

– Layer 3: 32 – 320 kbps;

• As principais diferenças entre os Layers (do 1 ao 3):

– A complexidade aumenta, principalmente o codificador;

– Aumenta o delay dos codecs (filtros);

– A performance aumenta (qualidade de som por bitrate);

Page 21: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Audio:

• Principais diferenças entre MPEG 1 e 2:

– Extensão da taxa de amostragem baixa para endereçar aplicações com bitrate muito baixa e com requisitos de largura de banda limitados;

– Taxas de amostragem MPEG 2: 16, 22.05 ou 24 kHz;

– Bitrate do MPEG 2: de 8 kbps para baixo;

– Extensão multicanal, para endereçar aplicações com som surround com 5 ou mais canais de áudio principais;

Page 22: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Audio:

• Qual Layer usar?

– Depende dos requisitos da aplicação;

– Considere o bitrate disponível para a aplicação;

– 1:4 com Layer-1 (ou 192 kbps por canal de áudio);

– 1:6..8 com Layer-2 (ou 128..96 kbps por canal de áudio);

– 1:10..12 com Layer-3 (ou 64..56 kbps por canal de áudio).

Page 23: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Audio:

• Codec Delay:

– Layer-1: 19 ms (<50 ms);

– Layer-2: 35 ms (100 ms);

– Layer-3: 59 ms (150 ms).

Page 24: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-1: codificar para qualidade de VHS

– 360 x 280 pixels a 30 frames/s;

– Bitrate de 1.5 Mbps...essa taxa foi escolhida devido ao throughput dos drives de CD-Rom da época;

• MPEG-2: codificar para qualidade de televisão digital

– 720 x 480 pixels a 30 frames/s;

– Bitrate entre 2 e 10 Mbps;

• MPEG-3: codificar para qualidade de HDTV

– Bitrate por volta de 40 Mbps...foi abandonado em 92 porque o MPEG-2 cobria as suas especificações;

Page 25: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-4: bitrate muito baixo

Page 26: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-1:

Page 27: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-1:

Page 28: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-1:

Page 29: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-2:

– Segue os mesmos princípios do MPEG-1, com algumas extensões notáveis e melhorias para suportar vídeo de alta qualidade;

– Suporta tanto vídeo intercalado como não intercalado;

– Permite figuras de 16.383 x 16.383 pixels;

– Provê vídeo escalável devido a dois propósitos principais:

» Dados do vídeo importantes são colocados com alta prioridade para proteger de erro;

» Permite que o decodificador decodifique seletivamente parte de um vídeo.

Page 30: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-2:

Page 31: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– MPEG Video:

• MPEG-2:

Page 32: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– GIF:

• Baseado no algoritmo LZW;

• Tornou-se popular por codificar todos os tipos de imagens, tanto geradas por computador como imagens “naturais”;

• Não é geralmente o tipo mais eficiente para imagens Lossless de cenários naturais, fotografias, imagens de satélite, etc.

Page 33: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– JPEG: Lossless:

• Usa técnicas Predictive linear;

• Possui 8 diferentes esquemas:

– 3 predictor unidimensional;

– 4 predictor bidimensional;

• Diferentes imagens podem ter estruturas diferentes que podem ser exploradas por um dos 8 modos de predição;

• O modo usado pode se guardado em um cabeçalho de 3 bits junto com o arquivo comprimido.

Page 34: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– JPEG: Lossy:

• O JPEG leva em conta o fato do olho ser mais sensitivo para a luminance de uma cor do que para a nuance, porque algumas células tem mais influência do que outras;

Page 35: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– JPEG:

Page 36: Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo

Digital

Padrões de Compressão Multimídia– JPEG: JPEG x GIF