Apresentao do Artigo: Gradient Field Descriptor for Sketch
Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN
COLLOMOSSE CENTRE FOR VISION, SPEECH AND SIGNAL PROCESSING
UNIVERSITY OF SURREY, GUILDFORD, SURREY, UK
Slide 2
Introduo Geralmente as bibliotecas de imagens so indexadas
utilizando palavras chaves de contedo (tags): As tags no so
suficientes para descrever uma forma mais complexa; QVE Querying
databases by Visual Example: Requer uma imagem realstica, que pode
estar indisponvel; SBIR Sketch Based Image Retrieval - Esboos;
Imagens adaptadas de: Eitz, M.; Hildebrand, K.; Boubekeur, T.;
Alexa, M., "Sketch-Based Image Retrieval: Benchmark and Bag-of-
Features Descriptors," Visualization and Computer Graphics, IEEE
Transactions, vol.17, no.11, pp.1624,1636, Nov. 2011
Slide 3
SBIR Sketch Based Image Retrieval
Slide 4
Bag of Visual Words Utilizam um dicionrio de palavras visuais
para discriminar features (descritores) de uma imagem; Ambas as
imagens (query e database) so descritas utilizando um histograma de
frequncia de palavras visuais nelas presentes; Para realizar a
recuperao o histograma da query comparado com os da base de dados;
Problemas do Sketch: No rico em detalhes, tornando o descritor
pouco discriminativo; Diferentes escalas e localizaes e deformaes
na forma do objeto; O BoW carece de informaes espaciais dos
descritores; eficiente para imagens que rica em detalhes e as
relaes espaciais so menos importantes;
Slide 5
Proposta dos Autores Utilizar um novo descritor por eles
proposto para a tarefa de recuperao de imagens de uma base de dados
a partir de esboos; Gradient Field Descriptor; O novo descritor uma
adaptao do HOG que supre a falta de informao espacial das palavras
visuais do BoW; A adaptao feita pelos autores apresentou melhorias
significantes em relao a outros descritores como SIFT e HOG padro;
Tambm demonstrado como o mtodo capaz de localizar o objeto desejado
na imagem;
Slide 6
Pr-Processamento Primeiramente as imagens da base de dados so
transformadas em um mapa de arestas utilizando o mtodo Canny Edge
Detector; Resultado: M(x, y) = {0, 1} Para os esboos apenas
detectado os contornos; Fonte:
http://www.cs.umd.edu/~yluo1/Projects/canny.htmlhttp://www.cs.umd.edu/~yluo1/Projects/canny.html
Slide 7
Gradient Field
Slide 8
Multi Scale Histogram of Gradient Relembrando o HOG: O
descritor computado para uma janela w centrada em um ponto de
interesse; A janela dividida em n x n grids e um histograma de
frequncias calculado para cada grid; Os histogramas so divididos em
q bins; Os histogramas so concatenados e normalizados, formando o
descritor; A partir do campo de gradientes calculado um conjunto de
descritores, de forma similar ao HOG, para cada ponto da aresta, ou
seja, M(x, y) = 1. Para tanto estabelecido um grid de n x n O
artigo proposto utiliza os seguintes parmetros para o clculo: n =
[5, 10, 15] w = 3 q = 9 Ao contrrio de abordagens multi- escala,
onde os descritores so concatenados para formar uma nica feature,
os autores consideram cada escala de descritor de forma
independente.
Slide 9
Sketch Based Retrieval Os descritores de todas as imagens so
clusterizados para formar um codebooks de palavras visuais,
utilizando o k-means; Um histograma H I calculado para cada imagem;
Para cada query calculado um histograma H S. As imagens so
ordenadas de acordo com a similaridade entre os dois
histogramas.
Slide 10
Object Localization Estimao da localizao do esboo na imagem
recuperada; Aplicao do RANSAC para encaixar o esboo imagem, por
meio de uma transformao rgida; Linear Conformal Affine Transform
(LCAT): Uniform Scale, Rotation e Translation; Primeiramente
realizado uma correspondncia putativa entre os descritores das duas
imagens, resultando nos conjuntos abaixo: Depois, randomicamente,
so amostrados pares de correspondncia calculando o LCAT:
Slide 11
Experimentos
Slide 12
Slide 13
Concluso dos Autores Os autores demonstraram a viabilidade da
utilizao do descritor proposto para a tarefa de recuperao de
imagens a partir de um esboo; Por meio de experimentos, foi
constatado a superioridade, em termos de acurcia, em relao aos
seguintes descritores: HOG SIFT SSIM Como trabalho futuro sugerido
a utilizao de sketchs coloridos;