Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

27
EXTRAÇÃO DE DESCRITORES SONOROS TIMBRÍSTICOS A PARTIR DA TRANSFORMADA WAVELET PACKET Thiago Rossi Roque Rafael Santos Mendes DCA/FEEC/UNICAMP AES BRASIL 2014

description

 

Transcript of Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

Page 1: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

EXTRAÇÃO DE DESCRITORES

SONOROS TIMBRÍSTICOS A PARTIR

DA TRANSFORMADA WAVELET

PACKET

Thiago Rossi Roque

Rafael Santos Mendes

DCA/FEEC/UNICAMP

AES BRASIL 2014

Page 2: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Busca por novas formas de extração de informações sonoras (descritores)

• Possibilidade de modulação dos descritores

• Alterações controladas no timbre

• Transformada Wavelet

– Decomposição tempo-frequencial (descritores frequenciais variantes no tempo)

– Cálculo simples e eficiente tanto para análise quanto para síntese

MOTIVAÇÃO

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

2

Page 3: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Descritores de Áudio

– Quantificar aspectos qualitativos de um sinal, ou seja, descrever as características de um sinal sonoro de forma objetiva

INTRODUÇÃO

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

3

Page 4: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• MPEG-7: Descritores Timbrísticos

– Temporais

• Tempo Logarítmico de Ataque

• Centroide Temporal

– Espectrais

• Centroide Espectral Harmônico

• Espalhamento Espectral Harmônico

• Desvio Espectral Harmônico

• Variação Espectral Harmônica

• Centroide Espectral

INTRODUÇÃO

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

4

Page 5: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

TEMPO LOGARITMICO DE ATAQUE

5 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 6: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

CENTROIDE TEMPORAL

6 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 7: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

CENTROIDE ESPECTRAL

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

7

• Média frequencial ponderada pela amplitude de cada componente.

• Sensação de brilho de um som

𝐶𝐸 = 𝐹 𝑛 ∗ 𝑛𝑁𝑛=1

𝐹(𝑛)𝑁𝑛=1

• Análogo ao primeiro momento estatístico

– Centro de massa espectral

Page 8: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

CENTROIDE ESPECTRAL HARMÔNICO

8 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 9: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

ESPALHAMENTO ESPECTRAL HARMÔNICO

9 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

• Espalhamento espectral médio em relação ao CEH

• Sensação de harmonicidade de um som

𝐸𝐸𝐻𝐿 𝑛 = 1

𝐶𝐸𝐻𝐿(𝑛)

( 𝐹ℎ,𝑛 − 𝐶𝐸𝐻𝐿(𝑛)2∗ 𝐴2ℎ,𝑛)

𝑁ℎℎ=1

𝐴2ℎ,𝑛𝑁ℎℎ=1

• Análogo ao segundo momento estatístico

Page 10: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Transformada de Fourier Janelada (STFT) – Técnica predominante para sinais de áudio – Deficiências conhecidas:

• Decompor sinais de energia finita em base de energia infinita – Sons naturais são pseudo-periódicos

• Janelamento do sinais através de janelas fixas

ANÁLISE ESPECTRAL

10 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 11: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Wavelet Packet

– Análise em multiresolução – Muito efetiva com sinais não periódicos e pseudo-

periódicos

– Utilização de wavelets para estimação espectral é muito recente!

ANÁLISE ESPECTRAL

11 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 12: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Funções finitas

– Energia concentrada no tempo

• Sem componentes de frequência nula

WAVELET

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

12

dtt 2|)(|

0)( dtt

)2(2)(, ktt jj

kj

Page 13: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Análise multi-resolução

– Funções wavelets possibilitam escalamentos e deslocamentos temporais • Possibilitando análises tanto no domínio da frequência

quanto no domínio do tempo

A TRANSFORMADA WAVELET

13 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

dtttfttfjkW kjkj )()( )(),( ),( ,,

Page 14: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Sendo um sinal discreto:

• e são os coeficientes da transformada wavelet discreta

• e são respectivamente a função escala e função wavelet

A TRANSFORMADA WAVELET

14 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

)(tx

(k)jd)(cr k

k k rj

j

j

r

r ktkdktkctx )2()()2()()(

)(t )(t

Page 15: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

A TRANSFORMADA WAVELET

15 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

)()2()( 1 ncknhkcn

jj

)()2()( 11 ncknhkdn

jj

Page 16: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

WAVELET PACKET

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

16

Page 17: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

WAVELET PACKET

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

17

Page 18: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• É necessário reordenar os coeficientes de forma frequencial

• Código Gray: 000,001, 011, 010, 110, 111, 101, 100 0, 1, 3, 2, 6, 7, 5, 4

WAVELET PACKET

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

18

Page 19: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Análise espectral wavelet de um trompete (A3)

ANÁLISE ESPECTRAL A PARTIR DA WP

19 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 20: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Análise espectral wavelet de um trompete (A3)

ANÁLISE ESPECTRAL A PARTIR DA WP

20 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 21: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

DSCRITORES TEMPORAIS WAVELET

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

21

• TLA WT • -0,1948

• TLA convencional

• - 0,1938

• CT WT • 2,2349 s

• CT convencional

• 2,0844 s

Page 22: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

CENTROIDE ESPECTRAL WAVELET

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

22

• CE

STFT

• CE

Wavelet

Page 23: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

CENTROIDE ESPECTRAL HARMÔNICO

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

23

• CEH

STFT

• CEH

Wavelet

Page 24: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

ESPALHAMENTO ESPECTRAL HARMÔNICO

Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

24

• EEH

STFT

• EEH

Wavelet

Page 25: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Análise espectral wavelet se demonstrou eficiente

• Alta correlação entre o descritores calculados pela transformada wavelet e pela forma convencional

CONCLUSÕES

25 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 26: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Estudos mais profundos a cerca da estimação espectral wavelet

• Aprimorar a técnica para outros descritores

• Manipulação dos coeficientes wavelet de forma a alterar controladamente os descritores sonoros

– Transformada Wavelet de Banda Harmônica

PRÓXIMOS PASSOS

26 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Page 27: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet

• Obrigado pela atenção!

FIM

27 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014

Duvidas? Questões? Sugestões?