DSM 2007 Conferência Nacional de Dinâmica de …tavares/downloads/publications/artigos/DSM... ·...

DSM 2007

Conferência Nacional de Dinâmicade Sistemas Multicorpo

DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM Ç ÇIMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL

Fernando J. S. Carvalho, João Manuel R. S. Tavares,

ISEP – Instituto Superior de Engenharia do PortoFEUP – Faculdade de Engenharia da Universidade do Porto

ÓLOME – Laboratório de Óptica e Mecânica Experimental

DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL

Introdução:

| Metodologia| Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução

Introdução:

• No domínio da visão computacional, os investigadores tem p gprocurado reproduzir computacionalmente algumas das características mais comuns do sistema de visão humano;

• No presente caso, em imagens de faces, desenvolvem-se metodologias aplicadas em algumas áreas de investigação, tais como: detecção da face, reconhecimento da face, extracção de características faciais, análise da expressão facial, seguimento das faces em sequências de imagens, etc.;q g , ;

• O trabalho apresentado, baseia-se no uso de um algoritmo, d l id bi t M tL b d l tóti desenvolvido em ambiente MatLab, que usa um modelo protótipo deformável para detectar e extrair as características do olho em imagens.

DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares


Sumário:

| Metodologia| Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução

• Modelo protótipo deformável;

• Campos de energia;

•Capacidades atractivas dos campos de energia;Capacidades atractivas dos campos de energia;

•Função de energia;

•Método de emparelhamento;

•Exemplos de resultados obtidos;•Exemplos de resultados obtidos;

•Conclusões;

•Trabalho Futuro.



Modelo Protótipo Deformável

| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução

p

Descrição :• O modelo protótipo deformável é controlado por 11 parâmetros e p p p pgeometricamente representado por uma circunferência e duas parábolas, sendo uma côncava e outra convexa;•A parametrização considerada confere ao modelo a possibilidade de alterar a p ç psua orientação, a escala, e a posição, isto é, permite a sua deformação rígida.

Imagem com o modelo protótipo deformável usado, considerandoos parâmetros: a b c r t P1 P2 xe ye xc e ycos parâmetros: a , b , c, r, t, P1, P2, xe, ye, xc e yc.



Parâmetros do Modelo Protótipo Deformável:


p

•A orientação do modelo é controlada por três parâmetros: o ângulo de rotação t, e os pontos de orientação P1 e P2;•A escala do modelo é controlada por quatro parâmetros: as alturas a e c medidas entre os vértices das parábolas superior e inferior e o centro do olho, respectivamente; a largura do olho 2b; e o raio r da íris;•Finalmente, a posição do modelo é controlada pelas coordenadas do centro da íris e do centro do olho, respectivamente pelos parâmetros: xc, yc, xe e ye.

Imagem com o modelo protótipo deformável usado (à esquerda) e correspondente


Imagem com o modelo protótipo deformável usado (à esquerda) e correspondentecomparação geométrica entre o mesmo e o olho humano (à direita).


Campos de Energia:


p g•Os campos de energia constituem a “fonte de informação” e permitem realçar determinadas características do olho, sendo de considerar que é na sua definição que se encontra a essência do método de emparelhamento entre o ç q pmodelo usado e uma imagem em estudo.• A extracção dos campos de energia, é feita através do uso de um conjunto de operadores morfológicos; como exemplo, o campo de energia das orlas é operadores morfológicos; como exemplo, o campo de energia das orlas é obtido usando o detector de orlas de Canny. • São utilizados quatro campos de energia relativos a: orlas de intensidade; vales de intensidade; picos de intensidade; e níveis de intensidade em tons de de intensidade; picos de intensidade; e níveis de intensidade em tons de cinzento.

Imagem em estudo e os campos de energia das orlas de intensidade, dos picos de intensidade, dos vales de intensidade, e dos níveis de intensidade em tons

de cinzento (da esquerda para a direita)


de cinzento (da esquerda para a direita).


Capacidades atractivas dos campos de energia:


p p g•O elevado gradiente presente no interior da íris, obtido do campo de energia dos vales de intensidade, permite atrair a circunferência até a íris.

Segmento da imagem original com a representação dos vectoresgradiente obtidos do campo de energia dos vales de intensidade.





p p g•O elevado gradiente nos limites da íris e do contorno do olho, obtido do campo de energia das orlas de intensidade, atrai globalmente o modelo a curtas distâncias para esses limites, na prática, permite realizar ajustes finos.p , p , p j

Segmento da imagem original com a representação dos vectoresi i i i i


gradiente obtidos do campo de energia das orlas de intensidade.




p p g•O elevado gradiente no interior da córnea óptica (sclera), permite posicionar correctamente os pontos P1 e P2 nos seus centros, permitindo controlar eficazmente a orientação do modelo, nomeadamente o ângulo de rotação.ç , g ç

Segmento da imagem original com a representação dos vectoresi i i i i i


gradiente obtidos do campo de energia dos picos de intensidade.


Função de Energia:


ç g•A função de energia a minimizar, resulta da soma de um conjunto de primitivas, tendo por base os campos de energia anteriormente considerados:

v e p i priorE E E E E E= + + + +

•A energia proveniente dos vales de intensidade Ev é maximizada no interior da

( ) ( )1CE dAϕ

⎛ ⎞⎜ ⎟∫∫

r

A energia proveniente dos vales de intensidade Ev, é maximizada no interior da circunferência:

( ) ( )1

1v v

Rc

E u dAA

ϕ⎜ ⎟= −⎜ ⎟⎝ ⎠∫∫

•A energia proveniente das orlas de intensidade Ee também é maximizada ao

( ) ( )CC⎛ ⎞⎜ ⎟∫ ∫

•A energia proveniente das orlas de intensidade Ee, também é maximizada ao longo dos contornos da circunferência e das parábolas:

( ) ( ) ( )32

1 2e e e

Cb Pb

CCE u ds u ds

L Lϕ ϕ⎜ ⎟= − +

⎜ ⎟⎝ ⎠

∫ ∫r r



•Já a energia proveniente dos níveis de intensidade em tons de cinzento Ei, é por


( ) ( )CC∫∫ ∫∫

g p pum lado minimizada no interior da circunferência, e por outro lado maximizada no interior da córnea óptica:

( ) ( )54

1 2i i i

Rc Rs

CCE u dA u dA

A Aϕ ϕ= −∫∫ ∫∫

r r

( ) ( )( )•A energia proveniente dos picos de intensidade Ep, deve ser minimizada nesses pontos:

( ) ( )( )6 1 1 2 1p p pE C u Pe u P eϕ ϕ= + + −r rr r

A i i t E i i é d i di d l f h b i•A energia interna Epriori, é usada para impedir que o modelo se feche sobre simesmo:

( ) ( )( )2

2 21 21

1 ( )2 2 2priori e c e c

K KE x x y y P r b⎛ ⎞= − + − + − +⎜ ⎟

⎝ ⎠( )

( )2

2322

2 2 2

1 ( ) 22 2 2

p

KKP r b b r

⎝ ⎠

⎛ ⎞+ + + + −⎜ ⎟⎝ ⎠


( )2 ( )2 2 2⎜ ⎟⎝ ⎠


Método de Emparelhamento:


p•O processo de emparelhamento consiste na interacção dinâmica entre o modelo e uma imagem em estudo, considerando 7 fases de processamento estrategicamente definidas;g ;• Durante o processo de emparelhamento, a actualização iterativa dos parâmetros do modelo é realizada recorrendo-se ao algoritmo de optimização, o gradiente descendente;o gradiente descendente;•Como exemplo, a actualização dos parâmetros do centro da íris, usando o referido algoritmo, obedece ao seguinte procedimento:

' ' dxc Exc ∂= =

'

_ _

_ _t

t

xc new xc old dt xc

yc new yc old dt yc

= + ×

= + ×, em que:

'

t

t

xcdt xcdyc Eyc

= = −∂∂

= = −

•Para cada iteração procura-se minimizar a energia de deformação do modelo, considerando:

tycdt yc∂

_ _ .E new E old Tol− <



Exemplos de resultados obtidos:


pParâmetros Fases de Emparelhamento

0 1 2 3 4 5 6 7

t Rad. 0.00 - - - 0.17 0.30 - 0.28

xe 60.00 77.46 - - 80.11 78.60 - 78.78

21 00 51 47 42 38 42 10 42 06ye 21.00 51.47 - - 42.38 42.10 - 42.06

xc 60.00 77.46 77.13 - - - - 77.50

yc 21.00 51.47 50.13 - - - - 52.05

PixelP1 20.00 - - - 21.92 24.80 - 24.81

- P2 20.00 - - - 21.94 19.14 - 20.72

20 00 19 75 19 45a 20.00 - - - - - 19.75 19.45

b 40.00 - - - - 30.95 31.49 32.06

c 20.00 - - - - - 16.39 17.58

r 20.00 - 18.00 17.96 - - - 17.96

Tabela de resultados obtidos, considerando a sequência de sete fases de emparelhamento.





p

Imagem original e representação da sequência das 8 fases de emparelhamento(da esquerda para a direita e de cima para baixo).





p

Resultado do emparelhamento entre o modelo usado euma outra imagem de faces.



Conclusões:


•Atendendo aos resultados obtidos, a metodologia baseada no emparelhamento do modelo protótipo considerado mostra-se eficaz na detecção e extracção das características do olho humano;ç ç ;•O algoritmo converge muito rapidamente, sendo esta uma das suas principais vantagens, no entanto, carece de um posicionamento adequado, nomeadamente em zonas relativamente próximas do olho sendo esta a sua nomeadamente em zonas relativamente próximas do olho sendo esta a sua principal desvantagem; •Consideramos a necessidade de melhorar o algoritmo ao nível da extracção dos campos de energia uma vez que em alguns casos a má definição dos dos campos de energia, uma vez que, em alguns casos, a má definição dos mesmos, condiciona o sucesso do emparelhamento;•Consideramos necessária a introdução de um mecanismo que procure o valor adequado das constantes de peso associadas a cada componente energéticaadequado das constantes de peso associadas a cada componente energética.



Trabalho Futuro:


Como trabalho futuro, pretende-se utilizar a metodologia considerada no seguimento e análise do movimento do olho ao longo de sequências de imagens.g



Agradecimentos:gEste trabalho foi parcialmente desenvolvido no âmbito do Projecto de Investigação “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos” financiado pela FCT - Fundação ( / ) p p çpara a Ciência e a Tecnologia, com a referência POSC/EEA-SRI/55386/2004.



Obrigado! Obrigado!


DSM 2007 Conferência Nacional de Dinâmica de …tavares/downloads/publications/artigos/DSM... ·...

Documents

Transcript of DSM 2007 Conferência Nacional de Dinâmica de …tavares/downloads/publications/artigos/DSM... ·...