Filtros de GaborDa Teoria à Aplicação

Ricardo J. Ferrari, Ph.D.rferrari@icmc.usp.br

Instituto de Ciências Matemáticas e de Computação

Universidade de São Paulo – São Carlos, Brasil

Sumário

Introdução

Sistema visual & Escala-espaço

Teoria

Breve revisão da Transformada de Fourier

Gabor filters

Aplicações

Filtro direcional

Análise de textura

Motivação: Filtros de Gabor e sua relação com a

neurofisiologia da visão

Visão Computacional

Objetivo: gerar descrições úteis e inteligentes de cenas visuais e dos objetos nelas contidas, através de operações sobre as imagens adquiridas (capturadas)

Visão computacional : problema completo de “Inteligência Artificial” –envolve a pesquisa de representações visuais robustas e flexíveis do mundo

Busca por uma representação do sistema visual

Décadas 60 - 80 : experimentos com mamíferos (gatos e macacos). Estudos neurofisiologia

Tentativa de se obter uma representação plausível do sistema visual

Sistema visual: percepção do brilho não é uma simples função da intensidade de luz

Busca por uma representação do sistema visual

Not so simple !!!

Sistema Visual Humano

Curiosidades

Porque extintor de incêndio vermelho (???)

Visão noturna / diurna

Retina / Fotosensores

Bastonetes (120mi )

Cones ( 6mi )

Image processada na retina é transmitida para o cortex visual

Cortex visual (células primárias + complexas)

Sistema Visual humano

Sistema visual de mamíferos

Pesquisas décadas de 60 - 80

Campo receptivo (receptive field) de um neurônio sensorial é uma região do espaço na qual a presença de um estímulo irá alterar a ativação daquele neurônio.

Família de Gabor functions

Sistema visual de mamíferos

Responses of receptive-fields & their approximation via Gabor functions

Breve revisão sobre algumas propriedades da

Transformada de Fourier

FFT de função quadrada

Função Par

Função Ímpar

FFT de trem de pulsos

“amostragem”

relação entre resoluções

FFT de uma função de amplitude

constante

Nível DC

“Missing piece”Vazamento espectral ( Spectral Leakage )

= *

= ideal

real life

amostragem

Funções de janelamento

Objetivo = redução dos “side lobes”

Vazamento espectral ( Spectral Leakage )

Efeito devido

Componentes de

alta freq.

Vazamento espectral ( Spectral Leakage )

resolução é afetada

Principal limitação da Transformada de Fourier

Transformada não possui “suporte compacto” integral que define a transformada se estende a toda a reta real F() “informa apenas” que a freq. , ou freqs. próximas a , estão presentes na função f(t)

Transformada de Fourier é mais eficiente no estudo de sinais estacionários

Principal limitação da Transformada de Fourier

Exemplo: através da TF é possível localizar com precisão se uma determinada nota musical (freqüência) está presente em uma música, mas não quando ela ocorreu (tempo ??)

Como resolver isso ?

Idéia intuitiva: analisar o sinal usando janelas temporais (ou espaciais no caso 2D)

Fourier janelada !!!

dtetftgF tj 2

janela

)()(),(

Com que precisão podemos localizar as informações sobre f no domínio tempo-freqüência ??

Noutras palavras podemos definir funções janelas com boas propriedades de localização no domínio (,t) ou (,s) de modo a obter qualquer precisão deseja na análise de f ?

Intuição:

Princípio da Incerteza

boa localização

na freq.

t

Fourier janelada: fixa-se a janela e então realiza-se a análise

Localização: tempo / freq.

Sabemos que a janela retangular nos causa problemas, pois apresenta bordas abruptas.

Então, qual janela nos fornece a melhor localização em ambos os domínios ???

Dennis Gabor : “GAUSSIANA”

Definida como Gaussiana modulada por uma senóide

complexa:

onde e são os desvios padrões da Gaussiana; W é

a frequência da senóide. x y

Filtro de Gabor 2-D

FFT

apenas

parte real

jWxyx

yxgyxyx

2exp2

1exp

2

1),(

2

2

2

2

Filtro de Gabor 2-D

Filtro de Gabor 2-D

cossin

sincos

2cos2

exp),(2

2

222

,,,,

yxy

yxx

xyxyxg

Representação: coordenadas polares

Parâmetros:

- comprimento de onda (wavelength) [pixels] ( )

- orientação [degrees] ( )

- fase [degrees] ( )

- razão de aspecto (aspect ratio) ( )

- largura de banda (bandwidth) [octaves] ( b = / )

Filtro de Gabor

Comprimento de onda (wavelength) [pixels] ( )

= 5, 10 e 15 pixels

100x100

Filtro de Gabor

Orientação [degrees] ( )

= 0, 45 e 90o

Filtro de Gabor

Ângulo de fase [degrees] ( )

= 0, 180, -90 e 90o

* *

Filtro de Gabor

Razão de aspecto (aspect ratio) ( )

= 0.5, 1.0

Filtro de Gabor

Largura de banda (bandwidth) [octaves] ( b = / )

= 0.5, 1.0, 2.0 octaves

Filtros de Gabor

Largura de banda com metade da resposta de freqüência [octaves]

12

12

2

2ln1 ,

2

2ln

2

2ln

log2

b

b

b

Se b = 1, neste caso σ e λ são conectados como σ = 0.56 λ. Quanto menor a largura

de banda, maior será o valor de σ, o suporte da função Gabor, e o número de zonas

paralelas excitatórias e inibitórias

Banco de filtros de Gabor

desejadas sorientaçõe de totalnúmero

/

espacial domínio no filtro do centro ),(

]cos)(sin)([

]sin)(cos)[(

inteiros, ,1 ),,(),(

2exp2

1exp

2

1),(

00

0

0

,

2

2

2

2

k

Kn

yx

yyxxay

yyxxax

nmayxgayxg

jWxyx

yxg

o

m

o

m

m

nm

yxyx

Banco de filtros de Gabor

2

2

2

2)(

2

1exp

2

1),()},(FFT{

vuvu

vWuvuGyxg

Aplicações

Filtragem directional

1) Detecção do músculo peitoral em mamogramas

IEEE TMI, 23(2), pp. 232-245, 2004

2) Análise de assimetrias bilaterais entre mamogramas

IEEE TMI, 20(9), pp. 953-964, 2001

3) Análise de assimetrias imagens de MRI

SIBGRAPI - 2008

* 12 imagens

filtradas

Seleção da

região de

interesse (ROI)

-1

Limite superior da

borda da mama

ROI propagação de magnitude filtragem linhas improváveis

Exemplos: segmentação final

da borda da mama e do

músculo peitoral

Análise de assimetrias bilateraisInformação direcional usando Gabor wavelets :

PCA

orientação magnitude

-1

filtered

images

Caso assimétrico

distorção arquitet.

mdb119 - mdb120

Log-Gabor filter

× =

IFFTEven symmetric filter

Odd symmetric filter

radial

component

angular

component log-Gabor

bandwidthangular andbandwidth freq. thecontrols -,

channel theofcenter - ),(

2exp

log2

log

exp),(2

2

2

oo

o

o

o

k =G

2D filtering process

] ),(1 log[ vuFS

×IFFT

FFT

Real valued Complex valued

Real valuedComplex valued Complex valued

22 ImRe A

Individual slice

Análise de Textura

Análise de osteoporose

Parte real Parte imaginária Energia resultante

Análise de textura via Edgeflow

Obrigado pela atenção !!!

Bibliografia

Digital Image Processing, Jähne, 4th edition

Digital Image Processing, Gonzalez, 3rd edition

Ferrari et al, IEEE TMI, 20(9), pp. 953-964, 2001

Sistema visual

Campo receptivo (receptive field) de um neurônio sensorial é uma região do espaço na qual a presença de um estímulo irá alterar a ativação daquele neurônio.

Sistema Visual humano

Retina / Fotosensores

Bastonetes (120 mi)

Cones ( 6 mi )