METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS: INTRODUÇÃO E EXEMPLOS DE RESULTADOS

METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS:INTRODUÇÃO E EXEMPLOS DE RESULTADOS

Fernando Carvalho, João Manuel R. S. Tavares

ISEP – Instituto Superior de Engenharia do PortoFEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental

Introdução:

• Em Visão Computacional, uma das áreas que tem tido elevado interesse, por parte dos seus investigadores, é a das imagens de faces;

• Nesta apresentação, são resumidamente indicadas várias aplicações e sumariamente descritas três das metodologias existentes;

• Para cada metodologia considerada são apresentados alguns resultados experimentais, obtidos a partir do uso da plataforma de desenvolvimento Matlab.

Imagens de Faces: Exemplos de Metodologias e Aplicações

| IntroduçãoIntrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro

Congreso de Métodos Numéricos en Ingeniería 2005 Fernando

Carvalho, João Tavares

As metodologias existentes, no domínio das imagens de faces, são usualmente utilizadas em Visão Computacional para:

• Detecção de faces;

• Extracção de características faciais;

• Reconhecimento e seguimento temporal de faces;

• Classificação/análise de expressões faciais;

• Geração de faces virtuais;

• Simulação do estado emocional nas faces;

• Simulação do efeito do envelhecimento nas faces; etc.






Metodologias consideradas:

1. Correlação Cruzada;

2. Detecção de zonas de Pele;

3. Modelos Protótipos Deformáveis.





Descrição :

• Permite a detecção de uma sub-imagem (Template), relativa a uma dada característica facial, como o olho, a boca, etc;

• Consiste na determinação da transformada de Fourier, da Imagem com a face e da sub-imagem, seguida da correlação cruzada entre as transformadas;

• Os coeficientes de correlação são obtidos pela transformada Inversa de Fourier;

•As coordenadas correspondentes ao valor máximo dos coeficientes de correlação, corresponde à potencial localização da sub-imagem.

Método de Correlação Cruzada



Imagem com a face e sub-imagem do olho: imagens originais (em cima),após a normalização (em baixo) e respectivos histogramas (ao lado).





Imagem original com a sinalização, a vermelho, da correspondente localização da

sub-imgem

“Mapa” dos Coeficientes de Correlação


• Exemplo de resultados


Descrição:

• Conversão do formato RGB para o formato YCRCB, permite: A eliminação do efeito da luminosidade; A implementação de um modelo de probabilidade que segue uma distribuição normal ou Gaussiana;

• É calculada a Média e a Covâriancia do modelo de probabilidade, a partir de um conjunto de amostras de pele, convertidas no formato YCRCB, de vários indivíduos;

• O algoritmo, tendo como referência a Média e a Covâriancia das amostras, procede à determinação da probabilidade de dado pixel, de dada imagem em análise, pertencer a uma dada zona de pele;

• Por último, faz a segmentação da imagem pelas zonas de pele encontradas, e procede à respectiva representação binária dessas mesmas zonas.



Método de Detecção de Zonas de Pele



• Conversão do Formato RGB para o Formato YCRCB



RCr

R G BB

CbR G B

Imagem original, Componente Y - intensidade, Cb – Componente azul, Cr – Componente vermelha. (da

esquerda para a direita)

• Amostras de pele

Imagem com 32 amostras de pele, extraídas da face de indivíduos de raça branca, e de ambos

os sexos





• Modelo de probabilidade da distribuição normal

Função de probabilidade obtido das amostras de pele consideradas

Consideremos as variáveis aleatóriassão representadas por:

Cr , cuja média e

T

E x

C E x x

T

x Cr Cb

pode-se definir a função de probabilidade da distribuição Gaussiana como:

11

2,T

x C xF Cr Cb e

e a co-variância C

e atendendo que:

Cb





Imagem de probabilidade erespectiva binarização (daesquerda para a direita).

• Resultado obtido a partir do detector de zonas de pele

• Verificação dos segmentos correspondentes a Faces:

Utiliza-se o algoritmo de correlação cruzada;

A sub-imagem é um modelo facial adequado;

A imagem a correlacionar, de níveis de cinzento, corresponde a uma dada zona de pele a verificar;

É determinado o ângulo de inclinação da zona a verificar, sendo este atribuído ao modelo facial (aumenta-se a eficácia da correlação);

É estabelecido um limiar nos coeficientes de correlação, cerca de 0.6, que permite considerar ou não o segmento como face.





Segmento facial, níveis de correlação e modelo facial (da esquerda para a direita)

• Exemplos de resultados

Face circunscrita por um rectângulo

Sequência de detecção, commúltiplas faces



Método dos Modelos Protótipos Deformáveis

Descrição:

• Permitem a detecção de faces e a extracção de características;

• Modelos parametrizados, os parâmetros conferem-lhe o comportamento deformável;

• Considera-se o principio da Minimização de Energia para actualização dos parâmetros (por exemplo, pelo método do gradiente descendente);

• É necessário aplicar um pré-processamento à imagem em análise, de forma a realçar a característica facial pretendida (por exemplo, detector de orlas);

• O processamento correspondente ao ajuste dinâmico do modelo à característica facial, é dividido por épocas (processo iterativo). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando






Imagem de Intensidade, vales de Intensidade,Picos de Intensidade, Orlas de intensidade

(da esquerda para a direita e de cima para baixo)

cMin E f##############

1 2, , , , , , , ,c ef x x p p r a b c ##########################################

Modelo paramétrico, definido por 11 parâmetros

• Exemplos de resultados


• Exemplo de modelo protótipo para o olho


Primeira época:

É usado o campo de energia correspondente aos vales de Intensidade, permite encontrar o centro da íris;

Coordenadas do ponto inicial P a vermelho (ponto (30, 35) – ponto dado);

Coordenadas do ponto final Q a verde (ponto (38 ,21) – ponto obtido).



• Exemplos de resultados, determinação da íris

Imagem com ponto inicial a vermelho, percurso iterativo a azul e ponto final a verde





Imagem com representação da íris através de uma circunferência, a vermelho o contorno final, a azul os contornos das sucessivas iterações

Segunda época:

São usados os campos de energia correspondentes aos vales de intensidade e intensidade da imagem, permite encontrar a orla correspondente à íris.


(Raio inicial: 20 pixels,Raio final: 9,3 pixels)




Imagem com a representação da íris através de um circunferência, a vermelho o contorno final, a azul os

contornos das sucessivas iterações durante o ajuste fino

Terceira época:

É usado o campo correspondente às orlas de intensidade, permitindo um ajuste fino à orla da íris.


(Raio inicial: 9,3 pixels,Raio final: 10,3 pixels)


• O algoritmo de correlação cruzada é eficiente, embora por vezes não apresente resultados conclusivos (por exemplo quando a imagem em estudo é bastante distinta da usada para extrair a sub-imagem usada na correlação).

• O Algoritmo de detecção de zonas de pele apresenta bons resultados ao nível da detecção da face, no entanto a existência de outras zonas de pele, correspondentes a distintas partes do corpo na imagem, implica que as mesmas sejam também detectadas.

• O Algoritmo dos modelos protótipos deformáveis apresenta boas características de detecção, contudo o valor de algumas constantes associadas aos níveis de energia têm de ser obtidos experimentalmente (pesos a usar).

Conclusões





•Determinar a rotação da face a partir dos segmentos de pele obtidos;

•Continuação dos ensaios experimentais usando modelos protótipos deformáveis mais complexos;

•Aplicação do método dos protótipos deformáveis ao seguimento de características faciais em sequências de Imagens (por exemplo usando em conjunto com o filtro de Kalman).

Trabalho Futuro



| IIntroduçãontrodução | Metodologias | Aplicação | Conclusões | Trabalho Futuro

Obrigado!



METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS: INTRODUÇÃO E EXEMPLOS DE RESULTADOS

Documents

Transcript of METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS: INTRODUÇÃO E EXEMPLOS DE RESULTADOS