metodologias para identificação de faces em imagens: introdução e ...

Congreso de Métodos Numéricos en Ingeniería 2005 Granada, 4 a 7 de Julio, 2005

© SEMNI, España 2005 METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS:

INTRODUÇÃO E EXEMPLOS DE RESULTADOS

Fernando Jorge Soares Carvalho1*, João Manuel R. S. Tavares2

1: Departamento de Matemática, Instituto Superior de Engenharia do Porto

R. Dr. António Bernardino de Almeida 431, 4200-072 PORTO – PORTUGAL e-mail: [email protected]

2: Departamento de Engenharia Mecânica e Gestão Industrial,

Faculdade de Engenharia da Universidade do Porto Laboratório de Óptica e Mecânica Experimental,

Instituto de Engenharia Mecânica e Gestão Industrial Rua Dr. Roberto Frias s/n, 4200-465 PORTO – PORTUGAL

e-mail: [email protected] web: www.fe.up.pt/~tavares.

Palavras-chave: Detecção de Faces, Processamento e Análise de Imagem, Correlação Cruzada, Detecção de Zonas de Pele, Modelos Deformáveis

Resumo. Uma das principais áreas de desenvolvimento, do domínio da Visão Computacional, é a detecção e reconhecimento de faces em imagens estáticas ou em sequências de imagens. Das várias metodologias existentes, salientam-se neste artigo: a que considera o algoritmo de correlação cruzada, a baseada na detecção de regiões de pele e a que utiliza modelos protótipos deformáveis. Assim, apresenta-se uma descrição sobre cada uma das referidas metodologias bem como alguns resultados experimentais obtidos pelas mesmas.

1. INTRODUÇÃO No domínio da Visão Computacional, inúmeros investigadores têm realizado esforços consideráveis no sentido de conseguir aumentar a interacção homem / sistemas máquina, através de sistemas automáticos de análise de expressões faciais. Atendendo à dimensão e complexidade deste problema, foi necessário decompô-lo em diferentes subtemas de estudo e desenvolvimento. Assim, é usual considerar-se os seguintes subtemas: detecção e reconhecimento de faces, análise do estado emocional associado as faces, reconstrução e síntese de faces, análise da faixa etária induzida pelas faces, etc. As metodologias desenvolvidas, em cada uma destas áreas de trabalho, podem ser aplicadas em imagens estáticas ou em sequências de imagens. A diversidade das metodologias existentes é extensa para cada uma das áreas referidas. Por

Fernando Jorge Soares Carvalho, João Manuel R. S. Tavares

2

vezes, para o mesmo tipo de aplicação, podemos encontrar metodologias totalmente distintas na forma de operar. Contudo, existem também situações nas quais são agrupadas metodologias, que foram desenvolvidas para realizar tarefas principais de outras áreas do domínio, e que são consideradas na realização de etapas prévias. Por exemplo, usualmente na análise de expressões faciais em imagens é necessário determinar previamente a face na imagem em causa. Nos trabalhos [1-6], são enumeradas e resumidamente descritas as metodologias mais usuais no domínio da Visão Computacional para imagens de faces. Dessas metodologias, neste trabalho são consideradas as seguintes: a que utiliza o algoritmo de correlação cruzada, a baseada na detecção de regiões de pele e a que utiliza modelos protótipos deformáveis. A metodologia que utiliza o algoritmo da correlação cruzada, consiste na consideração de uma sub-imagem relativa a uma dada característica facial, como por exemplo o olho ou a boca, e efectuar a correlação cruzada normalizada desta sub-imagem com a imagem em análise. Deste modo, determina-se o máximo coeficiente de correlação com o objectivo de prever a potencial localização de uma face, a partir do posicionamento da característica considerada. A correlação entre imagens considerada, é normalmente realizada no domínio da transformada de Fourier. Já a detecção de zonas de pele, consiste no desenvolvimento de um modelo representativo da pele, conseguido a partir da consideração de uma distribuição Gaussiana, com média e covariância obtidas a partir de um conjunto de treino constituído por amostras de pele da região da face de vários indivíduos. Posteriormente, o modelo construído permite determinar na imagem em causa, os pixels que apresentem elevada probabilidade de pertencer a regiões de pele e consequentemente às faces presentes na imagem em estudo. Por outro lado, a utilização de modelos protótipos deformáveis, consiste na utilização de um modelo deformável parametrizado, construído adequadamente para uma dada característica facial (o olho, a boca, etc.), que uma vez posicionado, e devidamente ajustado, na imagem em estudo, permite quantificar a semelhança existente entre o modelo usado e a potencial característica facial considerada. Esta semelhança, é quantificada pelo custo energético da deformação necessária para ajustar adequadamente o modelo à característica presente na imagem. Nas secções seguintes deste artigo, são descritas com maior detalhe as referidas três metodologias, apresentados alguns resultados experimentais obtidos pelas mesmas, e enumeradas algumas conclusões e perspectivas de trabalho futuro.

2. METODOLOGIAS CONSIDERADAS

Nesta secção, são descritas de forma mais pormenorizada as três metodologias consideradas neste artigo para a detecção de faces representadas em imagens: a que utiliza o algoritmo de correlação cruzada, a baseada na detecção de regiões de pele, e a que utiliza modelos protótipos deformáveis. Para as duas primeiras metodologias, são apresentados resultados experimentais obtidos por implementações computacionais desenvolvidas neste trabalho, usando a plataforma MATLAB.


3

Contudo, para a terceira metodologia, o exemplo de funcionamento dos modelos deformáveis apresentado foi retirado de [7]

2.1. Algoritmo de correlação cruzada

Em Visão Computacional, é usualmente designado por “algoritmo de correlação cruzada” o método que compara uma dada imagem com uma sub-imagem adequada, traduzindo numericamente a semelhança existente entre as duas, [8, 9]. A sub-imagem é extraída de uma imagem do objecto em estudo, e reflecte uma dada característica do mesmo. No caso presente, a sub-imagem pode ser constituída pelo olho ou pela boca, ou mesmo pela face completa; normalmente, esta sub-imagem é referenciada por modelo ou template. Posteriormente, este algoritmo aplica a transformada directa de Fourier à imagem original e à sub-imagem. Depois, é aplicado o algoritmo de correlação cruzada no domínio das frequências, sendo calculados os coeficientes da transformada inversa de Fourier. A detecção fica concluída, após determinação do máximo coeficiente de correlação obtido e da sua respectiva localização na imagem. Deste modo, espera-se que o valor máximo do coeficiente de correlação se destaque numericamente em amplitude, relativamente a todos os outros, de forma a tornar inequívoca a detecção. Das experiências realizadas ao longo deste trabalho, concluiu-se que ambas as imagens devem ser previamente normalizadas de forma a uniformizar a intensidade das mesmas. 2.1.1. Exemplos de resultados obtidos A Figura 1, apresenta uma imagem original de uma face e a sub-imagem considerada para o olho esquerdo, extraída da mesma, bem como imagens obtidas a partir destas após um processo de normalização de intensidade. Na mesma figura, pode-se ainda analisar, através dos histogramas apresentados, o efeito da referida operação de normalização.

Figura 1. Imagem com a face e sub-imagem para o olho: imagens originais (em cima), após a normalização (em baixo) e respectivos histogramas (ao lado).

Na Figura 2, apresenta-se os coeficientes de correlação devidamente normalizados, resultado da correlação entre a imagem e a sub-imagem normalizadas apresentadas na


4

Figura 1. Nesta figura, pode-se verificar a existência de um coeficiente máximo de correlação que se destaca claramente dos restantes. Na figura 3, encontra-se indicada, por um ponto de cor vermelha, a característica facial encontrada na imagem original usando a sub-imagem considerada para o olho esquerdo.

Figura 2. Coeficientes de correlação obtidos entre a imagem com a face e a sub-imagem para o olho esquerdo apresentadas na Figura 1.

Figura 3. Indicação da característica facial encontrada na imagem original, usando a sub-imagem considerada para o olho esquerdo.

2.2. Algoritmo de detecção de zonas de pele

O algoritmo de detecção de zonas de pele, foi neste trabalho considerado com a finalidade de detectar as faces presentes em imagens a cores. Este algoritmo, [10-12], utiliza um modelo representativo da pele, construído a partir de um conjunto de imagens de treino contendo amostras de pele retiradas de diversos pontos da face, de vários indivíduos de diferentes idades, etnias e de ambos os sexos. Neste algoritmo, a imagem em estudo em formato RGB é processada de forma a eliminar a influência da luminosidade. Da imagem obtida, obtêm-se posteriormente a imagem


5

equivalente representada no formato YUV ou YCbCr (luminance-chrominance), onde Y representa a intensidade, Cb a componente azul e Cr a componente vermelha da imagem. A mesma conversão é também efectuada às imagens das amostras de pele. Seguidamente, é utilizado um filtro passa baixo de forma a eliminar algum ruído existente em cada uma das componentes Cr e Cb, isto para cada uma das imagens das amostras e também para a imagem na qual se pretende pesquisar e identificar as faces. Neste trabalho, o modelo representativo da pele construído foi obtido a partir de 28 amostras de pele, das quais foi calculada a média de cada uma das componentes e a covâriancia entre ambas as componentes. A média e a covâriancia são variáveis da função densidade de probabilidade da distribuição Gaussiana, que permite determinar a probabilidade de um dado pixel da imagem em estudo pertencer a uma dada região de pele, e consequentemente a uma face. Conseguida a representação em probabilidade, de um conjunto de pixels pertencer a uma região de pele, procede-se à binarização da imagem em estudo utilizando um limiar adequado. Seguidamente, faz-se a segmentação da imagem binária obtida, procurando extrair todos os segmentos formados a partir de um conjunto de pixels de intensidade unitária. Para isso, todos os pixels de cada segmento são devidamente etiquetados, a cada segmento são atribuídas etiquetas distintas, sendo o número de etiquetas atribuídas igual ao número de segmentos em análise. Todo o segmento obtido pelo processo anterior pode representar uma face. Como primeira fase de detecção da face, analisa-se a possibilidade de no interior de cada segmento existir mais do que um agrupamento de pixels de intensidade nula, pois poderão ser estes representativos de características faciais como os olhos e as sobrancelhas, que notoriamente não são identificadas como regiões de pele. Todos os segmentos que não cumpram tal requisito, serão ignorados; dos restantes, são extraídos dados acerca da sua localização e dimensão. A segunda fase de detecção das faces presentes na imagem em estudo, consiste na utilização do algoritmo de correlação cruzada, descrito na secção anterior, entre o segmento da face em tons cinzento com um modelo facial frontal previamente construído. Para aumentar a eficácia da detecção através deste algoritmo, o modelo facial é adaptado em escala e rotação, sendo a decisão final conseguida a partir do valor máximo dos coeficientes de correlação obtidos, tal como descrito na secção anterior. O modelo frontal considerado neste trabalho, foi construído a partir da média de 16 faces frontais, de indivíduos de ambos os sexos desprovidos de cabelo facial ou óculos. O ângulo de inclinação da face é determinado a partir do conhecimento da localização do centro de massa da mesma, permitindo obter o seu centro. Seguidamente, obtêm-se o ângulo de inclinação alongando o objecto, prevendo-se assim a orientação do eixo de alongamento e a orientação da região.

2.2.1. Conversão da imagem no formato RGB para YCbCr

A imagem em formato RGB é convertida para o designado espaço de cores cromáticas


6

YCbCr, também conhecidas por cores puras. Como se pode observar na Figura 4, uma imagem original pode ser representada por três componentes: Y, representando a intensidade; Cb, representando a componente azul; e CR, a componente vermelha da imagem.

RGB Y Cb Cr

Figura 4. Exemplo de conversão de uma imagem original no formato RGB

para o espaço YCbCr.

A conversão da uma imagem entre os dois espaços, é conseguida a partir das seguintes relações:

RCrR G B

BCbR G B

=+ +

=+ +

. (1)

2.2.2. Extracção de zonas de pele Na Tabela 1, são apresentadas as 28 amostras de zonas de pele, cada uma de dimensão 40x40 pixels, extraídas de diversos pontos da face de indivíduos de diferentes idades, etnias e de ambos os sexos, consideradas neste trabalho no desenvolvimento do modelo representativo da pele. O número considerado de amostras extraídas pode ser diferente; no entanto, a sua diversidade pode trazer melhorias ao modelo obtido. 2.2.3. Função densidade de probabilidade da distribuição Gaussiana Considerando as variáveis aleatórias Cr e Cb , cuja média µ e a covariância C são representadas por:

{ }( )( ){ }T

E x

C E x x

µ

µ µ

=

= − −, (2)


7

e atendendo que:

( )Tx Cr Cb= , (3)

pode-se definir a função densidade de probabilidade da distribuição Gaussiana como:

( ) ( ) ( )112,

Tx C xf Cr Cb e

µ µ−− − −= . (4)

Tabela 1. Amostras de zonas de pele consideradas neste trabalho para o

desenvolvimento do modelo representativo da pele. 2.2.4. Modelo de detecção de zonas de pele A Figura 5, representa graficamente a função densidade de probabilidade ( ),f Cr Cb , considerada neste trabalho no desenvolvimento do modelo representativo da pele, obtida a partir da atribuição de valores de intensidade na gama de tons cinzentos às variáveis aleatórias Cr e Cb . Os valores médios considerados para estas variáveis foram respectivamente 143 e 113, valores para os quais a probabilidade de encontrar um pixel pertencente a uma região de pele é mais elevada no caso considerado. 2.2.5. Exemplos de resultados obtidos Na Figura 6, a imagem à esquerda representa as zonas de provável existência de pele encontradas na imagem original apresentada Figura 4, os pixels destas zonas assumem maiores valores de intensidade. Já a imagem apresentada ao cento, é obtida da anterior após um processo de binarização. Por seu lado, a imagem à direita é obtida da imagem ao centro e representa o segmento correspondente à face sem características faciais. Esta imagem, é posteriormente usada para determinar o centro de massa e o ângulo de inclinação da face


8

detectada.

Figura 5. Função densidade de probabilidade considerada neste trabalho

para o desenvolvimento do modelo representativo da pele.

a) b) c)

Figura 6. Imagens com a representação das probabilidades de existência de pele (a), o resultado da

binzarização (b), e o segmento correspondente à face com características faciais (c), obtidas a partir da imagem original apresentada na Figura 4.

Conforme foi anteriormente descrito, o segmento obtido correspondente à face sem características faciais, é posteriormente usado para identificar a zona da imagem original que contem a possível face. Esta zona é seguidamente validada como face por correlação cruzada com um modelo facial construído. Como os coeficientes de correlação são normalizados, a face é detectada, se o valor máximo dos coeficientes de correlação for superior a 0.5, Figura 7. Na Figura 8, a zona identificada na imagem original como pertencente a uma face pelo processo considerado aparece circunscrita por um rectângulo.


9

a) b) c)

Figura 7. Exemplo de validação de uma face usando o algoritmo de correlação cruzada: a) zona candidata a face; b) Coeficientes de correlação obtidos; c) Modelo facial usado na correlação.

Figura 8. Face detectada na imagem original circunscrita por um rectângulo.

Na Figura 9, mostra-se um exemplo de detecção de múltiplas faces em imagens, usando o processo descrito nesta secção. Neste exemplo, é possível verificar que um segmento correspondente à zona de pele referente às mãos, detectado pelo modelo representativo da pele, foi correctamente identificado como não pertencente a uma face.

2.3. Método dos modelos protótipos deformáveis

Este método consiste no emparelhamento de um modelo deformável parametrizado, preestabelecido de forma a representar adequadamente uma dada característica facial, por exemplo o olho ou a boca, que uma vez ajustado na imagem em estudo, permite quantificar a semelhança existente entre o modelo e a potencial característica facial existente, [7, 13, 14]. Esta semelhança é quantificada pelo custo energético da deformação necessária para ajustar devidamente o modelo à característica facial.


10

Figura 9. Exemplo de detecção de múltiplas faces em imagens usando o processo baseado na detecção de zonas de pele.

Com o objectivo de realçar determinadas propriedades que permitam extrair informações relevantes sobre as características faciais a considerar, são aplicados operadores morfológicos à imagem original, [8, 9], dos quais resultam campos de energia que traduzem orlas, picos e vales de intensidade de imagem. Esta etapa, constitui a fase de pré-processamento deste método.


11

Os referidos campos de energia obtidos são designados por ( ),e x yΨ , ( ),v x yΨ , ( ),p x yΨ , para orlas, vales e picos de intensidades, respectivamente. Posteriormente, estes campos são suavizados, de forma a homogeneizar os tons de cinzentos, através da convolução com uma função exponencial, resultando ( ρ representa um parâmetro constante):

( ) ( )

( ) ( )

( ) ( )

2 2

2 2

2 2

, , ,

, , ,

, , .

x ye e

x yv v

x yp p

x y e x y

x y e x y

x y e x y

ρ

ρ

ρ

φ

φ

φ

− +

− +

− +

= Ψ

= Ψ

= Ψ

(5)

Neste trabalho foi considerado um modelo protótipo para o olho e estabelecidas as equações que ligam os parâmetros entre si. Seguidamente, os parâmetros deste modelo são optimizados, por actualização das equações consideradas e alteração dos seus valores, através do método do gradiente descendente, no sentido de minimizar o custo de energia necessário ao ajuste do modelo com a característica existente na imagem, [7, 13, 14].

2.3.1. Modelo protótipo do olho

O modelo considerado para o olho, é constituído por um círculo de raio r , centrado no ponto

cx . O contorno do limite do olho é modelado à custa de duas parábolas, representativas das partes superior e inferior, [7, 13, 14], Figura 10.

Figura 10. Modelo protótipo do olho considerado neste trabalho.

2.3.2. Exemplos de resultados obtidos Na fase de pré-processamento, são extraídos vales, picos e orlas de intensidade de forma a dar ênfase a determinadas características constituintes do olho, Figura 11. Na figura 12, apresenta-se a título de exemplo o ajuste dinâmico do modelo protótipo deformável para o olho numa dada imagem. No âmbito deste trabalho, esta etapa do método está actualmente em fase de implementação.


12

a) b) c) d)

Figura 11. Exemplo de campos de energia: a) imagem original, b) vales, c) picos e

d) orlas de intensidade.

Figura 12. Exemplo de ajuste dinâmico do modelo protótipo do olho numa imagem (exemplo, retirado de [1]).

3. CONCLUSÕES E PRESPECTIVAS DE REALIZAÇÃO FUTURAS

Com alguns dos ensaios experimentais realizados, verifica-se que o algoritmo de correlação cruzada apresenta níveis de detecção elevados quando a sub-imagem é extraída da própria imagem com a qual é correlacionada. Já quando a sub-imagem é retirada de outras imagens, os resultados obtidos são por vezes ambíguos. Na base de tal ambiguidade, estão problemas de escala e de luminosidade. No entanto, a normalização dos níveis de intensidade melhora consideravelmente os resultados obtidos. Ao longo dos mesmos ensaios experimentais, o algoritmo de detecção de regiões de pele obteve um bom desempenho. No entanto, é sensível a situações facilmente confundíveis com zonas de pele. Assim, este método deve ser utilizado essencialmente em imagens de faces cujo fundo seja a esse nível não muito complexo. Os mesmos ensaios, também permitem verificar que o algoritmo de correlação cruzada, que auxilia o método de detecção de zonas de pele na validação das zonas correspondentes a faces, por vezes falha. Tal, deve-se aos problemas já citados próprios do método da correlação cruzada. Em termos de realização futura, está prevista para os tempos mais próximos a implementação da metodologia referente ao método dos modelos protótipos deformáveis. Tal, permitirá comparar o seu desempenho com o das duas metodologias já implementadas.


13

Os protótipos deformáveis a implementar, poderão também ser usados na validação das áreas de pele, determinadas pelo método de detecção de zonas de pele apresentado, como pertencentes a faces fazendo, por exemplo, o posicionamento do modelo nos locais onde existam áreas duvidosas e analisando o valor da energia de ajuste.

4. AGRADECIMENTOS

O trabalho apresentado neste artigo foi desenvolvido no âmbito da Dissertação de Mestrado em Métodos Computacionais em Ciências e Engenharia, do primeiro autor sobre orientação do segundo autor. O primeiro autor, deseja expressar o seu agradecimento ao apoio financeiro disponibilizado pela Direcção do referido Curso de Mestrado que permitiu a apresentação deste trabalho.

REFERÊNCIAS

[1] F. J. S. Carvalho and J. M. R. S. Tavares, "Imagens de Faces: Exemplos de Metodologias e Aplicações," presented at 4as Jornadas Politécnicas de Engenharia, Mecânica, Automóvel, Organização e Gestão Industrial, Energia e Ambiente, Instituto Superior de Engenharia do Porto, Porto, Portugal, 2004.

[2] T. Fromherz, P. Stucki, and M. Bichsel, "A Survey of Face Recognition," Dept. of Computer Science, University of Zurich, Zurich MML Technical Report, No 97.01, 1997.

[3] E. Hjelmas and B. K. Low, "Face Detection: A Survey," Computer Vision and Image Understanding, vol. 83, pp. 236–274, 2001.

[4] M. Pantic and L. J. M. Rothkrantz, "Automatic Analysis of Facial Expressions: The state of art," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, 2000.

[5] M. Yang, D. J. Kriegman, and N. Ahuja, "Detecting Faces in Images: A Survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, 2002.

[6] W. Zhao, R. Chellappa, P. J. Phillips, and A. Rosenfeld, "Face Recognition: A Literature Survey," ACM Computing Surveys, vol. 35, pp. 399–458, 2003.

[7] A. Yuille, P. Hallinan, and D. Cohen, "Feature Extraction from Faces Using Deformable Templates," International Journal of Computer Vision, vol. 8, pp. 99-111, 1992.

[8] G. W. Awcock and R. Thomas, Applied Image Processing: McGRAW-HILL International Editions, 1995.

[9] R. J. Schalkoff, Digital Image Processing and Computer Vision: John Willey & Sons, Inc., 1989.

[10] M. J. Jones and J. M. Rehg, "Statistical Color Models with Application to Skin Detection," Cambridge Research Laboratory, Compaq Computer Corporation, One Cambridge Center, Cambridge MA 02142, 1999.

[11] M. J. Jones and J. M. Rehg, "Statistical color models with application to skin detection," presented at IEEE Conference on Computer Vision and Pattern Recognition, 1999.


14

[12] H. Zheng, M. Daoudiy, and B. Jedynak, "Blocking Adult Images Based on Statistical Skin Detection," Electronic Letters on Computer Vision and Image Analysis, vol. 4, pp. 1-14, 2004.

[13] A. L.Yuille, "Deformable Templates for Face Recognition," Journal of Cognitive Neuroscience, vol. 3, pp. 59-70, 1991.

[14] A. L. Yuille, D. S. Cohen, and P. W. Hallinan, "Feature extraction from faces using deformable templates," presented at IEEE Conference on Computer Vision and Pattern Recognition, 1989.

metodologias para identificação de faces em imagens: introdução e ...

Documents

Transcript of metodologias para identificação de faces em imagens: introdução e ...