24/04/23 1 /

Query By Humming

Ana Alves (apba)Bruno Ribeiro (brcr)Francisco Neto (ffsn)

Garsielle Valença (gval)

Query by Humming (QBH)

QBH | Motivação

• “Futuras” gerações de Banco de Dados

•Rádios

•Emissoras de TV

•Lojas de Música

•Uso pessoal

Roteiro

• O que é?• Conceitos fundamentais• Algoritmos• Dificuldades• Aplicações Existentes

QBH | Definição

É a realização de consultas por conteúdo à um conjunto de músicas, tomando como entrada um trecho de melodia cantarolado pelo usuário

24/04/23 6 /

QBH | Conceitos

• Query“A query is a monophonic melody sung by a single person.”

• String“A sequence of notes in a written musical score,

or notes transcribed from a sung query.”

24/04/23 7 /

QBH | Conceitos

• String matchers “Find the best alignment between string Q and string T by

finding the lowest cost (or, equivalently, highest reward) transformation of Q into T in terms of operations (matching or skipping characters). The score of the best alignment can be used as a measure of the similarity of two strings.”

• Pitch“The property of a sound or musical tone measured by its

perceived frequency”

QBH | Introdução

• Crescimento da área de recuperação de informação multimídia baseada em conteúdo• Pontos Críticos

• Tipo de interação com informações multimídia• Atender às habilidades e preferências dos usuários

• Metas• Organização• Facilidade• Eficiência

QBH| Dificuldades

• Determinação da freqüência fundamental em um fragmento de áudio– Heurísitco– Maior ou menor grau de acerto

• Determinar similaridade da melodia– Pitch Incorreto– Transposição– Ritmo

QBH| Dificuldades

• Robustez– Algoritmo mais preciso

• Performance– Algoritmo eficiente

24/04/23 11 /

QBH| Técnicas• Melodic Contour Matching

– Seqüência das diferenças relativas no pitch entre notas successivas.

– Três relações possíveis de altura em relação a nota anterior(U, D, S)

• Acima (U)• Abaixo (D)• Igual (S)

24/04/23 12 /

QBH| Pitch Tracking• Auto-Correlação

• Probabilidade Máxima

• Análise do Espectro

QBH| Dynamic Time Warping

• Usado para medir similaridades entre seqüências de notas musicais– Não importa se variam em tempo e velocidade;

• DTW pode ser aplicado em diversas áreas– Vídeo, áudio, reconhecimento de voz, etc.;

QBH| Dynamic Time Warping

QBH |Algoritmos de Busca

•String Matching•Global alignment algorithm•Local alignment algorithm

•Melodic Contour Matching

•Hidden Markov Model•Forward algorithm

QBH |Experimento

• 3 Sistemas que utilizam diferentes algoritmos de consulta

-Local alignment algorithm-Global alignment algorithm-Forward algorithm

QBH |Experimento

QBH |Experimento

Aplicações Existentes

• Melody Recognition System– Desenvolvido pelo IDMT, Alemanha;– Identifica som de duas formas:

• Através da voz,• Ou tocando algum instrumento.

– A aplicação realiza a consulta na base de dados a partir de dois parâmetros:

• Pela melodia e ritmo da música tocada pelo usuário;

– Como resultado, um ranking dos 10 mais similares:• Título da música, • E nome do artista são devolvidos;

Aplicações Existentes

• Melody Recognition System– O processo de reconhecimento é dividido em 3

partes:• O sinal de áudio é armazenado;

– Eliminação do ruído do som;• As freqüências fundamentais são analisadas;

– É determinado um “pitch contour”;– Este é dividido em diversas notas, onde cada uma:

» É caracterizada pela sua duração e pitch;• A consulta retorna a lista das canções.

24/04/23 20 /

Aplicações Existentes

• Melody Recognition System– Características:

• A aplicação contém uma base de dados com milhares de músicas:

– Desde música clássica até pop;• O sistema é tolerante com relação à imprecisões:

– Na voz do usuário,– E nos ruídos do ambiente;

• “Imprecisão na consulta afeta menos a performance do usuário do que imprecisão no pitch”;

• Uma consulta com certo grau de imprecisão na voz do usuário será retornada com um grau de precisão associado;

24/04/23 21 /

Aplicações Existentes

• Melody Recognition System– O sistema está implementado em 3 diferentes tipos

de aplicações:• Sistema stand-alone:

– Todo processamento está localizado em um único computador;

• Aplicação Web:– A transmissão da consulta é feita por um Applet Java;– O processamento ocorre em um servidor remoto;– O resultado é mostrado no browser do usuário;

24/04/23 22 /

Aplicações Existentes

• Melody Recognition System– Tipos de aplicações:

• Aplicação Móvel;– Usuário conecta a um servidor remoto pelo celular;– Canta a música e realiza a consulta;– Todo processamento é realizado no servidor;

24/04/23 23 /

Referênciaswww.cs.cornell.edu/Info/Faculty/bsmith/ query-by-humming.html http://sail.usc.edu/music/research.html#intro

http://www.idmt.fraunhofer.de/eng/press_media/download/product_information/qbh_eng_web.pdf

24/04/23 25 /

Query By Humming