Aquisição de Dados Multimédia

Aquisição de Dados Multimédia

Joaquim MacedoDepartamento de Informática da Universidade do Minho & Faculdade de Engenharia da Universidade Católica de

Angola

Sumário Amostragem de Sinais Áudio Amostragem de Imagens 2D Filtros Anti-Aliasing Digitalização de Sinais Áudio

Conersão D/A Critério de Fidelidade de Áudio MIDI versus Áudio Digital

Digitalização de Imagens Medidas de Fidelidade Visual

Forma de onda dum sinalAmplitude versus Tempo

Espectro do mesmo sinalAmplitude versus frequência

Um sinal áudio e o seu espectro

t

• Amostragem é o processo de fazer medidas à amplitude do sinal em intervalos discretos do tempo/espaço

t

fs =1 / t

Amostragem

Transformada de Fourier Seja g(t) um sinal áudio arbitrário

Define-se G(w) como a transformada de Fourier de g(t) se

BG

Bg(t)

dtetgG jwt

2 para 0)(

se banda à limitado é

)()(

Transformada de Fourier

Amostragem Discreta no Tempo

tempo

amplitude

Amostragem uniforme Se o sinal g(t) for amostrado

uniformemente a uma taxa de fs amostras por segundo

BT

f

fGT

G

kTtts

kTtkTgtstgtg

Tf

s

kss

k

ks

s

21

)2(1

)(

)()(

)()()()()(

1

Sub-amostragem

Sub-amostragem

Sinal original

Amostragem

Sinal reconstruído

Teorema da Amostragem Um sinal contínuo no tempo g(t) pode ser

reconstruído de forma exacta das suas amostras gs(t) se se cumprirem 2 condições:

g(t) deve ser de banda limitada com uma frequência máxima M

A frequência de amostragem s de gs(t) deve ser maior que 2M, i.e. s>2M.

A segunda condição é conhecida como Critério de Nyquist

s referenciada como Frequência de Nyquist , i.e. a menor frequência de amostragem possível para recuperar o sinal original a partir das suas amostras

Original g(t)

t

gs(t)

t

f-B 0 B

|G(f)|

f

|Gs(f)|

-2fs -fs 0 fs 2 fs

(-fs-B) -(fs +B) -B B (fs -B) (fs +B)

F

FAmostrado

Amostragem de banda limitada

Filtro Passa Baixo

Amostragem com frequência de Nyquist

Amostragem de um sinal 1-D

Time domain Frequency Domain

t

)(tg

)(tg

t

)(tgst

)(tst

Frequencyf

)(G

ffs 2fs 3fs

)(S

Lowpassfilter

f

)(G

f

)(sG

fs 2fs 3fs

fs/2

Time domain Frequency Domain

t

)(tg

t

)(tg

)(tg

t

)(tgst

)(tgst

)(tst

)(tst

Frequencyf

)(G

Frequencyf

)(G

ffs 2fs 3fs

)(S

ffs 2fs 3fs

)(S

Lowpassfilter

f

)(GLowpassfilter

f

)(G

f

)(sG

fs 2fs 3fs

fs/2

Reconstrução DirectaFórmula de Interpolação do domínio do tempo

Os valores do sinal para instâncias do sinal não amostradas podem ser calculadas exactamente com um somatório de todos os valores amostrados

As abordagens usadas para reconstrução do sinal no domínio da frequência e do tempo são equivalentes

A função sinc do lado direito da equação é a resposta de impulso dum filtro passa-baixo ideal

)(

)sin()()(

ktf

ktfkTgtg

s

s

k

Exemplo 4.1 Considere o seguinte sinal áudio com um

tom sinusoidal de 4.5KHz

Amostre o sinal a taxa de i) 8000 ii) 10000 amostras/segundo

Reconstrua o sinal passando-o através dum filtro passa baixo ideal com frequência de corte igual a metade da frequência de amostragem. Assuma que os ganhos dos filtros são de i)1/8000 e ii)1/10000. Determina o sinal reconstruído nos dois casos.

)4500*2cos(5)( ttg

Caso-1

nn

ss nGnfGT

G )*16000(8000)2(1

)(1

.......)16000()()16000(........*8000 GGG

...)9000()7000()7000()9000(....*40000

A frequência de corte do filtro passa baixo é metdade da frequência da amostragem isto é 4000 Hz. Portanto a função de transferência do filtro é

otherwise 0

8000 8000/1)(1

H

Caso-1 (cont)

Quando o sinal amostrado passa através do filtro passa-baixo a transformada de Fourier do sinal de saída vai ser:

)()()( 11 HGG s

)7000()7000(5

)3500*2cos(5)()( 11

1 tGtg

Portanto o sinal de saída

Caso-2

nn

ss nGnfGT

G )*20000(10000)2(1

)(2

.......)20000()()20000(........*10000 GGG

...)11000()9000()9000()11000(....*50000

otherwise 0

10000 1/10000)(2

H

A frequência de corte do filtro passa baixo é metdade da frequência da amostragem isto é 5000 Hz. Portanto a função de transferência do filtro é

Caso-2 (cont)

)()()( 22 HGG s

)9000()9000(5

)4500*2cos(5)()( 21

2 tGtg

Portanto o sinal de saída

Quando o sinal amostrado passa através do filtro passa-baixo a transformada de Fourier do sinal de saída vai ser:

Sinal original e reconstruído Exemplo 4.1

Sobreposição do Espectro (Aliasing)

Se a condição de Nyquist não for satisfeita, acontece a Sobreposição do Espectro (Aliasing) que impede a perfeita reconstrução do sinal.

XC()

0

1

s

X()

0

Fs

Se s<2N, ocorre o aliasing.

O que é uma imagem?

Uma imagem pode ser definida como umauma função de intensidade de luz i(x,y,t) ondea amplitude da função em qualquer coordenada espacial(x,y) disponibiliza a intensidade (brilho) da imagem num determinado instante t

Amostragem de imagem 2D

Uma imagem digital pode ser obtida por amostragem dum imagem contínua.

Pode ser usada a seguinte função de amostragem

m n

ynyxmxyxs ),(),(

= frequência de amostragem horizontal (amostras/grau)

= frequência de amostragem vertical

x/1y/1

Δx

Δy

s(x,y)

Δx

Δy

s(x,y)

Amostragem de imagem 2D

Amostragem de imagens 2D

• A função de amostragem ideal para uma imagem é uma matriz de infinita com funções delta de Dirac situadas numa grelha

• A amostra da imagem é definida como

• A Transformada de Fourier da função comb

• A Transformada de Fourier da amostra da imagem é

],[),;,comb( ynyxmxyxyxm n

),(),(),;,comb(),(),( ynyxmxynxmfyxyxyxfyxfm n

s

)/1,/1;,comb(1

),COMB( 2121 yxyx

)-,-(1

),COMB(),(),( 21212121 y

l

x

kF

yxFF

k ls

Amostragem em 2DFunção de amostragem

Amostragem em 2DAmostra da imagem

Resolução espacial da amostragem

Aumento ou Diminuição da Resolução Espacial

A resolução espacial pode ser mudada pela eliminação ou replicação de pixels ou por interpolação As técnicas mais comuns de interpolação incluem a bilinear, bicúbica e do vizinho mais próximo ( nearest neighbor)

Imagem original “zoomed down” “zoomed up” para tamanho original

Taxa de Nyquist, Aliasing, and Frequências Foldover

• Taxas e frequências de Nyquist :

• O efeito de aliasing acontece quando

• Frequências Foldover :

00 2,2 yx

00 2

1or

2

1

yx

yx

yx 2

1,

2

1

Imagens de banda limitada

),( yxf ),( 21 F

020121 , ,0),( yxF

Teorema da amostragem

• Uma imagem de banda limitada amostrada por uma grelha rectangular pode ser recuperada desde que a taxa de amostragem seja superior à taxa de Nyquist rate.

• A imagem pode ser reconstruída pela fórmula de interpolação:

m n ys

ys

xs

xs

m nysxs

ny

ny

mx

mxynxmf

nymxynxmfyxf

)(

)sin(

)(

)sin(),(

sincsinc),(),(

.2,2,1

, 1

where 00 yysxxsysxs yx

.

2

1,

2

1

2

1,

2

1

ysysxsxsR

Exemplo 4.2 Considere a seguinte grelha para imagem com

frequência horizontal e vertical de 4 e 6 ciclos/grau respectivamente

Amostre a imagem a 10 amostras/grau tanto na horizontal como vertical. Reconstrua a grelha pasando-a por um filtro passa baixo 2D com as seguintes características

Determina a grelha reconstruída

)64(2cos255),( yxyxi

caso outro qq em 0

5,5 01.0),(2

vhvhD

ffffH

)]64(2cos[255),( yxyxi

2*6,2*42*6,2*4255),( vhvhvhI

hf

vf

4

6

-6

-4

hf

vf

4

6

-6

-4

Espectro de Fourier da Imagem Contínua

Espectro de Fourier da Imagem Discreta

Transformada de Fourier da imagem amostrada

m n

hvhs nmITT

I )20,20(255

),(21

m n

h nmI )20,20(01.0

255

hf

vf

4

6

-6

-45-5

5

hf

vf

4

6

-6

-45-5

5

Espectro da Imagem Amostrada

Transformada de Fourier do sinal filtrado:

),(),(),(ˆ 2 vhsvhDvh IHI 2*4,2*4[255 vh

]2*4,2*4 vh

)]44(2cos[255),(ˆ yxyxi

hf

vf

4

6

-6

-45-5

5

hf

vf

4

6

-6

-45-5

5

Imagem Aliased

Imagem Original Imagem Reconstruída

Taxa de amostragem óptima

Resolução da imagem Parâmetro importante para criar imagem

digital Expressa em dpi ou dots/cm Frequência de amostragem

Critério de Nyquist Limitações do SVH < 20 ciclos/grau,

40 ciclos/grau na amostragem

Exemplo 4.3 Vai-se fazer varrimento duma foto

4”x6”. Determinar a mínima resolução do varrimento.

Resolução de varrimentoÂngulo horizontal = =)6/)2/((tan*2 1 WW o5.9

Ângulo vertical = =)6/)2/*)6/4(((tan*2 1 WW o4.6

Assumindo uma taxa de amostragem de 40 amostras/grau A imagem digital deve ter 380 e 256 pixels na direcção hor. and vert. Como o tamanho da imagem é 4”x6”, a resolução mínima é 64 dpi.

6.4º9.5º

6.4º9.5º

9.5º6W

W

9.5º6W

W

Filtro anti-aliasing

Filtro PB ideal Filtro PB realizável

Filtro Passa Baixo Ideal

Banda Filtrada

Banda Passante

f

A

1.0

0.0fs/2 fs

Especificação do desenho de filtros

A frequência de amostragem é 8 KHz. O filtro ideal para anti-aliasing será um filtro passa baixo com frequência de

corte a 4KHz.Contudo é fisicamente impossível desenhar um filtro ideal.Neste exemplo vai-se desenhar um filtro PB com as seguintes características:

i) Banda passante é 0-3200 Hz. Ganho na banda passante, Gp > -2 dBii) Banda de transição é 3200-4000 Hz iii) Banda de rejeição é is > 4000 Hz.O ganho na banda de rejeição , Gs < -20 dB

Considere um sinal áudio com espectro 0-20 KHz. O sinal vaiSer amostrado a 8 KHZ. Conceba um filtro anti-aliasing adequado

Desenho de Filtros com MATLAB

Filtros passa-baixo contínuos no tempo típicos são Butterworth, e

Chebyshev-1, e Chebyshev-2.

Estão disponíveis técnicas normalizadas para concepção desses filtros.

%MATLAB code for designing lowpass filterWp=3200; Ws=4000; Gp=-2; Gs=-20 ;%Ideal Filtermag0 = [ones(1,4001) zeros(1, 4000)] ;%Butterworth Filter[n, Wc] = buttord(Wp,Ws,-Gp,-Gs,’s’) ;[num,den] = butter(n,Wc,’s’) ;

Coeficientes do numerador e denominador da função de transferênciado filtro

Funções de Transferência

Butterworth )(

10909.4)(

45

sDsH

91610121181213 10171.210298.310682.327140)( ssssssD

627723820820 1047.110493.410107.110107.1 ssss

337337433530 10322.110322.110129.810874.3 ssss

4543240337 10909.410245.110579.110322.1 sss

Chebyshev-1

16132103745

16

10742.210817.410272.210536.12261

10742.2)(

sssss

sH

Características do Filtro

Exemplos Amostragem Imagens Anti-Aliasing

Imagem Original Imagem sub-amostrada Filtragem Anti-aliasing

Digitalização do Sinal ÁudioAmostragem e Digitalização

Amplificador

FiltroAnti-Aliasing

Amostra e Sustenta

Conversor A/D

+Áudio Analógico, Contínuo

Áudio Digital, Discreto

Gerador deRuído Aleatório(Dither)

Digitalização do Sinal ÁudioGravação e Armazenamento de N canais

Áudio AnalógicoCanal 1

Áudio AnalógicoCanal N

.

.

.

Amostragem e Digitalização

Amostragem e Digitalização

MultiplexerCompressãoe Correcção deErros

Meio deArmazenamento

Gravação e armazenamento áudio Funções dos diferentes blocos do sistema

Bloco Funções

Amplificador Amplifica o sinal antes da introdução de qualquer ruído (aleatório ou de quantificação)

Gerador de Ruído

Adiciona uma pequena quantidade de ruído aleatório, que aumenta a qualidade de percepção

Filtro anti-aliasing

Um filtro passa baixo para garantir que o sinal é de banda limitada. Elimina o aliasing

Amostra e Aguenta

Aguenta o valor do sinal áudio e amostra-o em cada instância da amostra

Conversor A/D Calcula a representação digital equivalente do sinal analógico

Multiplexador Multiplexa a cadeia de bits dos diferentes canais

Compressão Reduz a redundância e compacta o tamanho do ficheiro áudio mantendo uma qualidade de áudio aceitável

Conversor Digital-Analógico

A entrada do conversor DA é um sinal discreto no tempo cuja amplitude é um número real que pode requerer um número um número infinito de bits/dígitos para uma verdadeira representação

Para o processamento digital por computadores, o sinal em cada instante de tempo tem que ser convertido para um número para um número com precisão finita (I.e., 8, 16 or 32 bits).

Isto é feito por um quantificador que estabelece uma correspondência entre uma variável contínua e uma variável discreta.

Quantificador de N-níveis

A saída do quantificador para uma dada entrada pode ser calculada com o seguinte procedimento.

)(nTg

krnTgQ )]([1)( kk dnTgdse

onde

Nkd k 0 , São os níveis de decisão

São os níveis de reconstrução 10 , Nkrk

Se os nívei de decisão são equidistantes, i.e., se é constante para todo o k, o quantificador é chamado quantificador uniforme; caso contrário é chamado um quantificador não uniforme.

)( 1 kk dd

Quantificador uniforme

Quantizer error

g1d

0d

Nd2d

1r

1Nr

0r

2Nr

2r

g* Quantizer output

Quantizer error

g1d

0d

Nd2d

1r

1Nr

0r

2Nr

2r

g* Quantizer output

Quantificador não uniforme

Quantizer error

g1d 3d

0d

Nd2d

1r

1Nr

0r

2Nr

2r

g* Quantizer output

Quantizer error

g1d 3d

0d

Nd2d

1r

1Nr

0r

2Nr

2r

g* Quantizer output

Exemplo 4.5

Considere um sistema de gravação áudio onde o microfone gera uma voltagem contínua no intervalo [-1,1] volts. Calcule os níveis de decisão e reconstrução para um quantificador de 8 níveis.

Exemplo (cont.)

Os níveis de decisão e reconstrução podem ser calculados a partir das seguintes equações:

4

4k

d k

8

1 kk dr

80 k

70 k

Níveis de decisão e reconstrução Quantificador do exemplo 4.5

K Níveis de Decisão Níveis de Reconstrução

0 -1.0 -0.875

1 -0.75 -0.625

2 -0.50 -0.375

3 -0.25 -0.125

4 0.00 0.125

5 0.25 0.375

6 0.50 0.625

7 0.75 0.875

8 1.0

Sinais originais e quantificados

Erro de quantificação

O erro de quantificação (também conhecido como ruído de quantificação) é a diferença entre o valor actual do sinal analógico e o seu valor quantificado..

)]([)()(ˆ)()( nTgQnTgnTgnTfnTe

Amplitude Original Amplitude Quantificada

Taxa de bits do sinal áudio

ondbitsBFbitrate S sec/ *

Para canal mono

ondbitsBFbitrate S sec/ **2

Para cana stéreo

Frequência amostragem

Representação PCM da saída

Como se representam as saídas do quantificador?

As saídas quantificadas a N-níveis são representadas com B bits onde BN 2

Por exemplo, a saída do quantificador de 8 níveis pode ser representado usando 3 bits.

Níveis Representação PCM

0 000

1 001

…….

6 110

7 111

8 bits 256 Níveis16 bits 65536 Níveis32 bits 4.3x109 Níveis

Taxa de bits Vs. Qualidade

Máximo erro de quantificação = 0.5*Intervalo_Decisão

A qualidade do sinal quantificado será superior se o ruúdo de quantificação for pequeno Intervalo de deecisão é pequeno N é grande B é grande.

Se B é grande Aumenta a taxa de bits.

Portanto, há que estabelecer um comprimisso entre a taxa de bits e a qualidade do sinal áudio digitalizado.

Taxa de bits alta Ruído de quantificação baixo == Melhor qualidade subjectiva

Critérios de Fidelidade Áudio A amostragem e a quantificação

Degradam a qualidade do sinal São usadas diversas métricas para avaliar a

quaildade do sinal quantificado Medidas de Distorção

Relação Sinal-Ruído e Erro Quadrático Médio Crítérios objectivos

Audibilidade da distorção do sinal Critérios subjectivos

Critério de Fidelidade ÁudioAudibilidade da distorção do sinal

Muito incómodo 1

Incómodo 2

Ligeiramente Incómodo

3

Perceptível mas não incómodo

4

Imperceptível 5

Critério de Fidelidade Áudio Os testes de qualidade subjectiva são geralmente

superiores Mas são um processo complicado envolvendo uma série

de pessoas As medidas são influenciadas pela escolha das pessoas

e pelo estabelecimento do cenário experimental Por esse facto, são usadas geralmente medidas

objectivas para avaliação

Medidas de DistorçãoRelação Sinal-Ruído e Erro Quadrático Médio

1

0

2^

10

1

0

2^

1

0

2^

)()(1

log10dB) (

)()(

)(

N

n

N

n

N

n

nfnfN

MSE

SNRemSNR

nfnf

nfSNR

Relação Sinal-Ruído

A relação sinal-ruído (SNR) é a medida de erro mais popular em engenharia electrotécnica.

Disponibiliza informação útil na maior parte dos casos e é matematicamente tratável. Por esta razão é também bastante usada na codificação de áudio e imagens.

Infelizmente os valores SNR não se correlacionam bem com medidas subjectivas, especialmente com altas taxas de compressão. Foi proposta uma série de novas medidas de distorção para melhor adaptação ao sistema de audição humano.

Medida de qualidade objectiva

Ruído de quantificação com gama de variação dinâmica de 1 istó é

O erro e(nT) é suposto ser estatisticamente independente e uniformemente distribuído no intervalo [–Q/2 e Q/2]

Pressuposto:

Erro médio quadrado do erro de quantificação

12

2

12

1 222

2

2B/Q

/Q

Qdee

QE

BQ 2onde

BQ 2

SNR versus Bits/amostra

8.10*612/2log1012/log10) ( 22 BQdBinE B

BdBinSNR *02.6) ( 8 bits audio 48 dB SNR12 bits audio 72 dB SNR16 bits audio 96 dB SNR

Cada bit adicional/amostra reduz o ruído de aproxiamadamente 6 dB, aumentando assim a SNR da mesma quantidade.

Regra

CD audio 96 dB. Tipicamente, um sinal de áudio com uma relação sinal-ruído (SNR) de mais de 90 dB SNR é considerado de excelente qualidade.

Exemplo

Considere o sinal áudio stéreo “chord” digitalizado com uma frequência de amostragem de 22.050 KHz, com uma precisão de 16 bits/amostra.

Duração do sinal = 1.1 sec; # Total de amostras = 24231Estime a SNRs do sinal de for quantificado com 5-12 bits/amostra.

Chord.wav

Erro de quantificação

Erro de quantificação a 8 bits/amostra

pdf do erro de quantificação (8 bits/amostra)

Considere que o sinal original é um sinal áudio de 16-bit, podemos quantificá-lo para b bits usando :

bb /)*x(roundy 22

SNR versus Taxa de bits

SNR versus bits/amostra

Áudio DigitalVárias taxas de amostragem e resoluções

Qualidade

Taxa de amostragem(em KHz)

Bits/Amostra

Mono/Stereo

Taxa de Dados(se não compactado)

Banda Frequência(em Hz)

Telefone 8 8 Mono 8 Kb/seg 200-3,4 K

Rádio AM

11,025 8 Mono 11Kb/seg

Rádio FM 22,050 16 Stereo

88.2 Kb/seg

CD 44.1 16,linearPCM

Stereo

176.4 Kb/seg 20-20k

DAT 48 16 Stereo

192.0 Kb/seg 20-20K

Áudio DVD

192 24 Stereo

1152.0 Kb/seg

20-20K

Digitalização de Imagens

Pixels -- picture elements nas imagens digitais

Resolução da Imagem – número de pixels numa imagem digital

(Uma resolução mais alta conduz a mior qualidade da imagem.)

Bit-Map – uma representação para os dados da imagem/gráfico da

mesma forma que é armazenada na memória vídeo.

Imagem Monocromática

Cada pixel é armazenado como um único bit (0 ou 1)

Uma imagem monocromática de 640 x 480 pixels requer 37.5

KB de armazenamento.

Dithering é usado muitas vezes para mostrar imagens

monocromáticas

Imagens com níveis de cinzento

Cada pixel é armazenado normalmente num byte (valor de 0 a 255)

Uma imagem com níveis de cinzento com 640 x 480 precisa de

mais de 300 KB para armazenamento.

Imagens a cores

Cada pixel é representado com 3 bytes (e.g., RGB)

Suporta 256 x 256 x 256 cores possíveis (16,777,216) para 24 bit res.

Uma imagem a cores 640 x 480 24-bit precisa de 921.6 KB para

armazenamento

Monocromática Níveis de cinzento Cor 24 bits

1 Byte/pixel 256 níveis cinzento 640x480 imagem = 307 KB

3 Bytes/pixel 16 Milhões cores 640x480 imagem = 921 KB

1 Bit/pixel 2 (0,1) níveis 640x480 imagem = 307 Kbit

Tipos de imagens

Medidas de Distorção da ImagemRelação Sinal-Ruído e Erro Quadrático Médio

1

0

1

0

^

1

0

1

0

2^

1

0

1

0

2^

1

0

1

0

2

10

1

0

1

0

2^

1

0

1

0

2^

10

),(),(1

),(),(1

),(),(

sinal do pico devalor log10dB) em(

),(),(

),(log10dB) em(

M

m

N

n

M

m

N

n

M

m

N

n

M

m

N

n

M

m

N

n

M

m

N

n

nmfnmfMN

EAM

nmfnmfMN

EQM

nmfnmf

PSNR

nmfnmf

nmfSNR

Imagens em níveis de cinzento com nº diferentes de bits/amostra

3 bit, 8 níveis 2 bit, 4 níveis 1 bit, 2 níveis

6 bit, 8 níveis 5 bit, 32 níveiss 4 bits, 16 níveis

8 bits, 256 níveis original

Aquisição de Dados Multimédia

Documents

Transcript of Aquisição de Dados Multimédia