IDENTIFICAÇÃO DE CARACTERÍSTICAS VISUAIS SALIENTE EM UMA IMAGEM EM MULTIRRESOLUÇÃO

Sandrerley Ramos Pires e Dulcinéia Gonçalves Ferreira Pires

Faculdades Alves Faria, coord. Engenharia da Computação – Goiânia – GO dulcineia@alfa.br e sandrer@alfa.br

Díbio Leandro Borges Universidade Nacional de Brasília (UNB), Brasília – DF

dibio@cic.unb.br

Edna Lúcia Flôres Universidade Federal de Uberlândia, Faculdade de Engenharia Elétrica, Uberlândia – MG

edna@ufu.br

Resumo - O problema de identificar quais características de uma imagem são as mais importantes para processos de Visão por Computador é uma tarefa difícil e ainda sem solução. Embora existam diferenças na forma como elas são computadas e utilizadas, características visuais como bordas e curvaturas são tidas como importantes elementos para algoritmos de percepção. Uma questão central é, como e em qual escala de detalhe, é possível identificar quais características da imagem contém mais informação, ou de outra forma, quais características da imagem são mais salientes ao observador. Este trabalho trata esta questão propondo que a observação seja feita através do uso de imagens em multiresolução, onde se detectam bordas e curvaturas de objetos em diferentes escalas, e mede-se de uma escala para outra as características com maior entropia. As características visuais salientes das bordas e curvaturas são então identificadas como sendo as que contêm mais informação. Os resultados estão apresentados e analizados em uma imagem externa e de um rosto.

Palavras-Chave – Imagem em multirresolução,

Entropia em Imagem, Características visuais salientes desta.

IDENTIFYING SALIENT VISUAL

FEATURES THROUGHOUT MULTIRESOLUTION IMAGES

Abstract - The problem of identifying which features

are the most important for Computational Vision tasks is a difficult, and yet unsolved one. Although there are differences in the way they are computed, and the constraints used, visual features such as edges and curvatures are believed to be important cues for most visual perception algorithms. One central question to this is how, and in what level of detail or scale, it is possible to identify which features retain more information, or putting it in another way are salient to the observer. In this work we address this question by proposing that the observations have to be made throughout a multiresolution framework, where we detect edges and curvatures of the observed objects in different scales, and measure from one scale to another the features with

highest entropy. The salient features of edges, and of curvatures are then identified as being the ones with the highest information content. We show and analyses results in face and outdoor images.

Keywords – Multiresolution image, Image Entropy,

Salient visual features.

I. INTRODUÇÃO

Por que quando vemos uma caricatura em uma coluna de jornal logo sabemos de quem se trata? Se pode-se conhecer a pessoa através de alguns traços, podemos considerar a hipótese de que em uma imagem, algumas características visuais salientes, são suficientes para realizarmos um processo de reconhecimento. Uma imagem possui uma quantidade muito grande de informações e uma forma de determinar na imagem tais saliências, poderia reduzir muito esse montante, o que auxilia no processo de análise visual e torna mais eficientes os algoritmos que processariam estas tarefas em computador.

Os processos de análise visual são mais eficientes quando a escala de detalhe dos objetos analisados está mais adequada ao processo em questão. A introdução de um mecanismo que possa representar uma imagem em multiresolução permite o mapeamento das características visuais salientes em diversas escalas, possibilitando a separação da escala de detalhes mais conveniente ao processo.

Uma citação encontrada em [1], [2], [3] e [4], diz que: “Uma estrutura que se mantém estável ao longo de diversas faixas de escala pode representar um objeto importante para a escala em que ele se atenua”. A localização na imagem destas estruturas estáveis é de difícil determinação através de uma comparação pixel a pixel entre elas, pois a mudança de escala causa uma mudança geral nas medidas de intensidade dos pixeis. O uso do conceito de entropia permite produzir representações da imagem mais conveniente para identificar estruturas estáveis em uma faixa de escala de detalhes [5].

Este trabalho verifica se medidas de entropia entre as escalas de detalhe de uma imagem, em intensidade de cinzas, podem identificar características visuais salientes desta. Para a obtenção de imagens em multiescala são utilizados nos experimentos três tipos de métodos de multiresolução: o filtro gaussiano [1], o filtro bspline [6] e a transformada wavelet [7]. Os dois primeiros métodos mantêm o tamanho

original da imagem nas várias escalas de detalhes, enquanto a transformada wavelet, por ser um filtro em pirâmide, reduz o tamanho da imagem a cada nova escala obtida.

II. TRABALHOS ANTERIORES

Características visuais salientes em uma imagem foram investigadas em estudos como o esquema primário proposto por [1] que produzia um conjunto de informações sobre a imagem como suas bordas, orientação e textura; também na detecção de estruturas importantes da imagem através de blobs [3], onde a estabilidade de um blob em seguidas escalas de detalhes, indicava a presença de estruturas importantes da imagem. Em ambos os casos, a análise de estruturas estáveis da imagem em multiresolução, foram utilizados como meio de determinação das saliências.

Uma forma de mensurar estruturas estáveis entre as várias escalas de uma imagem, foi apresentada em [5], neste trabalho foi usado medida de entropia entre duas escalas de uma imagem, produzindo uma terceira imagem (CIMENE) que determina as estruturas que sofreram alterações entre estas escalas. Esse tipo de imagem, CIMENE, permite que a imagem se torne mais estável com relação à iluminação dos objetos mapeados. Através deste processo foi possível realçar em imagens aéreas prédios de determinadas dimensões.

Outra abordagem para mensurar saliências em uma imagem, sem uso de variação de escala, pode ser vista em [8], onde através de medidas de curvaturas da imagem obtidas por operadores de geometria diferencial, procuravam também definir informações mínimas que caracterizavam os objetos presentes na imagem.

III. IMAGENS EM MULTIRESOLUÇÃO

O método proposto visa produzir conjuntos de imagens em multiresolução, para poder verificar se medidas de entropia entre as várias escalas de detalhe de uma imagem indicam quais estruturas desta se mantém estável.

A. Imagens em Multi-resolução.

Uma imagem pode ser vista como um conjunto discreto de pontos descritos por uma função . A representação desta imagem em multiresolução pode ser obtida a partir de sucessivas aplicações na função f, de um filtro passa baixa. Este filtro irá causar uma atenuação gradual do sinal gerado pela função, reduzindo assim, a quantidade de detalhes dos objetos apresentados na imagem. Um exemplo de atenuação sucessiva de um sinal mono-dimensional que pode ser visto na Figura 1.

Um processo que gera o conjunto multiresolução de uma imagem deve possuir a propriedade da causalidade. Ela define que uma imagem (sinal) em maior resolução, possui todas as informações de uma imagem em menor resolução. Isto é, não há formação de máxima e nem mínima local durante as sucessivas filtragens. Pela Figura 1, pode-se observar que os pontos de máxima e mínima local vão sendo atenuados a cada processo de filtragem e que não há geração de novas saliências(picos e vales) no sinal. A aplicação de um filtro em um sinal discreto como a imagem, é feito a Fig. 1. Mostra o processo sucessivo de filtragem de um sinal monodimensional. A escala com maior número de detalhes é

mostrada na linha inferior da figura e as perdas de detalhes ocorrem nas linhas superiores. Observe que não há geração de novos pontos de máxima ou mínima local. partir de um processo de convolução entre a matriz de pontos da imagem e um kernel da função do filtro.

A obtenção desses conjuntos em multiresolução para o experimento foi realizada por três processos diferentes. São eles: � Filtro Gaussiano [1]: é um filtro passa baixa que mantém

a imagem resultante com a mesma quantidade de pixels que a imagem original. O problema do uso deste filtro é que para escalas muito altas (pouco nível de detalhe) exige um alto custo computacional.

� Filtro BSpline [6]: é um filtro passa baixa, que quando utilizado no grau três, ele se aproxima muito do filtro gaussiano [6], mantendo inclusive as propriedades necessárias para a análise em multiescala [4]. A vantagem deste filtro é que ele pode efetuar a tarefa de mudança de escala com muito menos esforço computacional.

� Filtro em Pirâmide [7]: este filtro produz uma nova imagem em outra faixa de escala e com tamanho reduzido. Este tipo de filtro é computacionalmente mais eficiente que o filtro gaussiano.

B. Medida de Entropia

A medidas de entropia de uma imagem [9] é definida como:

Onde:

Nc, Nl: número de colunas e linhas da imagem, respectivamente.

P(Xij): é o valor resultante da aplicação de uma função de probabilidade P, no valor da intensidade do pixel Xij.

O valor de H indica a quantidade de informações

presentes na imagem. O uso deste conceito pode ser usado

∑∑= =

−=c lN

i

N

j

ij

lc

XPNN

H1 1

))(log(1

(1)

RRf →2:

para definir a imagem de probabilidade I onde cada pixel Iij da imagem, é determinado da seguinte maneira:

Onde :

K0 : é uma constante para mostrar a imagem de probabilidade em 255 tons de cinzas; e

P(Xij): é o valor resultante da aplicação de uma função de probabilidade P, no valor da intensidade do pixel Xij.

Este tipo de representação mostra em uma imagem, qual a

quantidade de informações trazida por uma determinada intensidade. Ela é particularmente interessante para a comparação entre escalas, pois medidas de probabilidades se mostraram mais estáveis que a medida de intensidade do pixel, visto que elas representam características estruturais da paisagem representada pela imagem e não a intensidade do reflexo produzido por ela.

A Figura 2 mostra o resultado de duas imagens geradas a partir de informações probabilísticas, as duas imagens originais possuem intensidades bem diferentes uma da outra. A função de probabilidade utilizada foi a distribuição normal. O uso desta distribuição se justifica pelo fato de que o experimento se aplica a qualquer tipo de imagem.

Fig. 2. Mostra a imagem gerada a partir de informação de entropia de imagens com diferenças significativas de intensidades. Observe que embora as imagens originais (primeira coluna) possuam valores diferentes de intensidades, as imagens probabilísticas geradas a partir da medida de entropia (segunda coluna), mostra um produto final bastante semelhante.

Em [5], as medidas de entropia foram usadas para realçar as estruturas da imagem que eram modificadas a cada

mudança de escala, o objetivo neste trabalho é justamente verificar se este processo pode auxiliar na localização de estruturas da imagem que permanecem estáveis através de uma faixa de escala de detalhes.

C. Análise de Entropia Entre Escalas

O conceito de imagem probabilística oferece recursos para representação em das características de uma imagem em apenas uma escala de detalhes. A comparação entre escalas, com o objetivo de determinar estruturas estáveis, pode ser efetuada de várias formas. A determinação de um método de comparação entre escalas que realce de maneira satisfatória estruturas estáveis da imagem, necessitará de uma série de testes. Em um método apresentado em [5], os testes mostram que para imagens aéreas, uma forma de determinar as alterações entre escalas é:

Onde:

ξ : imagem produzida pela comparação;

Ko : constante para mostrar a imagem como tons de cinzas;

X, Y: duas escalas de detalhes de uma mesma imagem;

P(Xij), P(Yij): é a função de probabilidade λ||. bxea −

P(Xij, Yij): é a função de probabilidade sobre as duas

escala de detalhe. λλ |||| .. yxbyxb eef −−+−

Para o trabalho atual, são feitos testes utilizando a

distribuição normal de probabilidade, avaliando várias opções para mensurar alterações entre escalas. Exemplos de critérios são mostrados logo abaixo nas equações (4) e (5) e os seus resultados mostrados na figura (5):

e

Onde:

K0 : é uma constante para mostrar a imagem de probabilidade em 255 tons de cinzas; e

P(Xij), P(Yij): é o valor resultante da aplicação de uma função de probabilidade P, no valor da intensidade do pixel Xij.

(2)

),(

)().(

0 log.ijij

ijij

YXP

YPXP

ij K −=ξ (3)

(4)

(5) )(

)(

0 log.2ij

ij

YP

XP

ij KI −=

)()(log.1 0 ijijij YPXPKI −−=

))(1log(.0 ijij XPKI −−=

IV. PROCESSO PROPOSTO

Para identificação de estruturas estáveis a partir de comparação entre escalas, este trabalho propõe o seguinte: seja M={I1, I2,..,In} a representação de uma imagem em multi-resolução. A comparação entre escalas considera que as estruturas modificadas de uma escala k para a escala k+1 (k+1≤ n), são as estruturas que se mantiveram estáveis na imagem entre as escalas 1 e n. A propriedade de causalidade, presente em uma representação em multi-resolução garante esta conclusão [4] [7].

Fig. 3. Diagrama de blocos do aplicativo para o experimento.

O aplicativo desenvolvido para a realização do experimento, tem a estrutura apresentada na Figura 3. As medidas de entropia auxiliarão na criação de um conjunto intermediário de imagem que indicam as estruturas estáveis até aquela escala de detalhes. Estas estruturas são as saliências que caracterizam os detalhes perdidos na mudança de escala.

A aplicação foi desenvolvida utilizando o ambiente do gcc no sistema operacional Linux. A máquina utilizada é um PC DuoCore, 1.5Gb de RAM. As imagens utilizadas estão no formato .GIF com 256x256 pixels em tons de cinza.

V. RESULTADOS OBTIDOS

O aplicativo descrito acima, foi utilizado para determinar características visuais salientes em imagens externas, conforme apresentado na Figura 4 que apresenta nos itens (e) e (f) o resultado das características visuais salientes usando a equação (4). A Figura 4, itens (g) e (h), mostram o resultado das características visuais salientes usando a equação (4).

Pela análise visual das imagens, pode-se perceber que o quantitativo de detalhes da imagem se reduz à medida que a imagem é mais suavizada, demonstrando a efetividade do método proposto para as duas equações utilizadas nos experimentos. Percebe-se também que a imagem gerada pela equação (4) apresenta um pequeno quantitativo de detalhes a mais que a imagem gerada pela equação (5).

Fig. 4. As duas primeiras linhas mostram a imagem original (a) e uma seqüência de uma imagem em três escalas de detalhes diferentes (b), (c) e (d). A terceira linha mostra a perda de detalhes entre as imagens filtradas. Sendo (e) = (b) - (c) e (f) = (c) – (d).

Outros testes foram feitos usando desta vez como entrada, a imagem resultante da aplicação de um detector de bordas Canny [10] e também a imagem resultante de um detector de curvaturas [8]. Para esta nova abordagem a estrutura da aplicação foi alterada. A Figura 5 mostra a nova estrutura proposta para a aplicação. Neste experimento utilizou-se a equação (4).

As Figuras 6 e 7 mostram os resultados obtidos por essa nova abordagem. Pode-se observar que os resultados mostrados na figura cinco, imagem obtida pelo detector Canny, apresenta uma riqueza muito grande de detalhes. Isso pode ser causado pelo fato de que a entrada já ser uma imagem filtrada, sendo que esse filtro já realçou um conjunto de estruturas, levando a imagem de entrada a representar detalhes em uma menor faixa de escala.

O resultado obtido pelo detector de curvatura comporta-se de maneira diferente, pois produz blobs como entrada, entretanto não produz um resultado de muita qualidade. Pela análise visual os resultados obtidos tendo como entrada a imagem CIMENE, apresenta melhores resultados.

Imagem Original

Escala 1 Escala 2 Escala n

Geração Em MultiEscala

...

Detalhes entre 1 e 2 Detalhes entre n e n+1 ...

Definição das Estruturas Estáveis

Estrutura Estáveis

(a) (b)

(c) (d)

(e) (f)

(g) (h)

Fig. 5. Diagrama de blocos do aplicativo para o experimento. Nesse caso o aplicativo efetua uma detecção de bordas e curvaturas antes da geração da imagem de entropia (probabilística).

Fig. 6. As duas primeiras linhas mostram uma seqüência das bordas da imagem original ,figura (5-a) , em três escalas de detalhes diferentes (a), (b) e (c). A terceira linha mostra a perda de detalhes entre as imagens filtradas. Sendo (d) = (a) - (b) e (e) = (b) – (c). O método usado foi o descrito na equação (4).

Fig. 6. As duas primeiras linhas mostram uma seqüência das curvaturas da imagem original, figura (6-a) , em três escalas de detalhes diferentes (a), (b) e (c). A terceira linha mostra a perda de detalhes entre as imagens filtradas. Sendo (d) = (a) - (b) e (e) = (b) – (c).

VI. CONCLUSÕES

A representação da imagem através de medidas de entropia, se mostrou uma forma mais estável para a comparação de imagens em diferentes escalas de detalhes.

Os elementos definidos na imagem por medida de entropia e que sofreram alterações em uma faixa longa de escalas de detalhes, coincidem com as regiões de máximas e mínimas da imagem, isto é, bordas e origem de curvaturas.

Os resultados obtidos até o momento, apesar de não haver definição da forma de comparação entre escalas, mostram que este método pode auxiliar na tarefa de realce de características visuais salientes da imagem.

Apresentou-se neste trabalho uma nova abordagem para detecção de características salientes em imagens de intensidade. Estes resultados, embora não definitivos, apontam para a linha de pesquisa que considera a análise de uma imagem em várias escalas pode oferecer resultados mais significativos do que quando analisada em uma única escala. Contudo, mais análise deve ser feita a fim de interpretar e combinar os resultados obtidos neste trabalho.

A. Sugestões para Continuidade do Trabalho

Filtro em pirâmide [7] não foi utilizado neste trabalho

devido a gerar uma imagem menor que a original e por isto, não foi possível de ser utilizado no algoritmo implementado. A sugestão é analisar formas de efetuar a comparação entre escalas quando as imagens não possuem o mesmo tamanho.

Imagem Original

Escala 1 G: σ = 1 B: n=3, m =3

Gera Imagem em multiescala

...

...

Escala 2 G: σ = 2 B: n=3, m =5

Escala 3 G: σ = 3 B: n=3, m =7

Bordas / Curvaturas

Escala 1

Detector de Bordas (Canny) / Detector de Curvatura (Barth)

Bordas / Curvatura

Escala 2 Bordas / Curvatura

Escala 3

... Entropia Escala 1

Imagem de Entropia

Entropia Escala 2

Entropia Escala 3

Determina Variação de Entropia

... Características Salientes entre Escala 1-2

Características Salientes entre Escala 2-3

(a) (b)

(c)

(d) (e)

(a) (b)

(c)

(d) (e)

REFERÊNCIAS BIBLIOGRÁFICAS

[1] Marr, David., A Computational Investigation Into the

Humam Representation and Processing of Visual

Information, New York: W.H. Freemam and Company, 1982, pp. 41-98.

[2] WITKIN, A.P., Scale-space Filtering, Proc. 8th int. Joint

Conf. Art. Intell., 1983, pp. 1019-1022. [3] Lindeberg, Tony, Detecting Salient Blob-Like Image

Structures and Their Scale with a Scale-Space Primal Sketch: A Method for Focus-of-Attention, International Journal of Computer Vision, Vol.11, Nº 3, 1993, pp. 283-318.

[4] Lindeberg, Tony, Scale-space Teory: A basic tool for

analysing structures at different scales, Journal of

Applied Statistic, Vol.21, Nº 2, 1994, pp. 225-270. [5] Winter, A., Maître, H., et al, Entropy and Multiscale

Analysis: A New Feature Extraction Algorithm For Aerial Images, Technical report, IMA – ENST, Paris, France.

[6] Wang, Y., Lee S. L., Scale-Space Derived From B-

Spline, IEEE Transaction on Analisys and Machine

Intelligence, Vol.20, Nº 10, 1998, pp. 1040-1054. [7] Mallat, S., A Theory for Multiresolution Signal

Decomposition:The Wavelet Representation, IEEE Transaction on Analisys and Machine Intelligence, Vol. 11, Nº 7, 1989, pp. 674-693.

[8] Barth, Erhardt, Caelli, Terry, Zetzsche Christoph, Image

Encoding, Labeling, and Reconstruction from Differential Geometry, Graphical Models and Image

Processing, Vol.55, Nº 6, 1993, pp. 428-446. [9] Shannon, C.E., The Mathematical Teory of

Communication.The Illinois University Press, Denver, 1978.

[10] Canny, J., A Computational Approach to Edge Detection,

IEEE Transactions on Pattern Analisys and Machine Intelligence, Vol. 8, Nº 6, 1986, pp. 679-698.

DADOS BIOGRÁFICOS

Sandrerley Ramos Pires nasceu em Anápolis, Brasil, em 29 de janeiro de 1996. Ele é graduado em Ciências da Computação, UFG 1988, é Especialista em Análise e Projeto de Sistemas, UFG 1996, Mestre em Engenharia de Computação, UFG 1999 e doutor em Engenharia Elétrica na UFU 2007. A sua experiência profissional é como consultor de processos de automação de organizações deste 1989. É também coordenador e professor do curso de Sistemas de Informação e de Engenharia da Computação das Faculdades ALFA, em Goiânia, Brasil. Tem como áreas de interesse de pesquisa o Processamento de Imagens e Computação Gráfica, além de processos metodológicos para qualidade de software e gerenciamento de projetos. Dulcinéia Gonçalves Ferreira Pires nasceu em Anápolis, Brasil. Ela é graduada em Ciências Sociais pela Associação Educativa Evangélica em 1991 e em Ciências da Computação pela Universidade Católica de Goiás em 2006. Ela recebeu o grau de Mestre em Engenharia da Computação pela Universidade Federal de Goiás em 2006. Sua experiência profissional é como consultora de em processos de automação. Ela atua como professora do curso de Sistemas de Informação nas Faculdades Alves Faria desde 2006. Seus interesses de pesquisa incluem computação Gráfica e Processamento de Imagens. Díbio Leandro Borges é graduado em Engenharia Elétrica pela Universidade de Brasília (UNB). Recebeu o grau de Mestre em Engenharia Elétrica na mesma universidade e o grau de Doutor na University of Edinburgh, United Kingdom. Atualmente ela atua como professor na Universidade de Brasília. Seus interesses de pesquisa incluem: Visão Computacional, Sistemas Inteligentes e Reconhecimento de Padrões. Edna Lúcia Flores nasceu em Uberlândia, Brasil. Ela é graduada em Engenharia Elétrica pela Universidade Federal de Uberlândia (UFU), 1982. Recebeu o grau de Mestre em Engenharia Elétrica na mesma universidade em 1988 e o grau de Doutor na Universidade de Campinas (UNICAMP) em 1997. Atualmente ela atua como professora na escola de Engenharia Elétrica da UFU, na graduação e pós-graduação, desde março de 1997. Seus interesses de pesquisa incluem processamento de Imagem e Processamento de Sinais.