Post on 14-Nov-2018
4as Jornadas Politécnicas de Engenharia
Imagens de Faces: Exemplos de Metodologias e Aplicações
Fernando Carvalho, João Manuel R. S. Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| Aplicação | Modelos | Conclusões | Trabalho Futuro
Introdução:
• Em Visão Computacional, uma das áreas que tem tido elevado interesse, por parte dos seus investigadores, é o das imagens de faces.
• Neste artigo, serão resumidamente indicadas várias aplicações e sumariamente descritas algumas das metodologias existentes.
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| AplicaAplicaççãoão | Modelos | Conclusões | Trabalho Futuro
As metodologias existentes, no domínio das imagens de faces, são utilizadas em Visão Computacional para:
Detecção de faces;
Reconhecimento de faces;
Análise do movimento facial;
Classificação/análise de expressões faciais;
Geração de faces virtuais;
Simulação do estado emocional nas faces;
Simulação do efeito do envelhecimento nas faces; etc.
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| AplicaAplicaççãoão | Modelos | Conclusões | Trabalho Futuro
Classificação/Analise da Expressão Facial
Detecção de Faces
Extracção de Características Faciais
Detecção da face num determinado cenário atendendo a certas condições de funcionamento como:•Escala, Orientação;•Luminosidade;•Ocultação Total ou Parcial;•Existência ou não de Múltiplas Faces...
Este Processo refere-se:
•Levantamento de Características Faciais;
•Representação da face segundo uma aproximação.
Exemplos de Classificação:•Faixa etária ou etnia;•Análise do Estado Emocional:
•Felicidade;•Tristeza;•Surpresa;•Medo;•Raiva;•Desgosto, etc.
Imagem
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | MetodologiasMetodologias| Aplicação | Models | Results | Conclusions | Future Work |
Algumas Metodologias existentes:
Correlação Cruzada;
Detecção de zonas de Pele;
Modelos Protótipos Deformáveis.
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
Descrição sucinta:
Permite a detecção de uma sub-imagem relativa a uma dada característica,
como o olho e a boca;
Baseado em cálculos no domínio da transformada de Fourier.
Exemplo obtido usando Matlab
Método de Correlação Cruzada
Modelo do olho esquerdo
Face
Resultado Normalizado dos Coeficientes de Correlação
Resultado da detecção
Algoritmo de Correlação
| IntroduIntroduççãoão | MetodologiasMetodologias| Aplicação | Modelos | Conclusões | Trabalho Futuro
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | MetodologiasMetodologias| Aplicação | Modelos | Conclusões | Trabalho Futuro
Método de detecção de zonas de PeleDescrição sucinta:
Construção de um modelo representativo da pele;
O modelo é gerado a partir de um conjunto de amostras de pele de vários
indivíduos sendo calculada a Média e a Covâriancia;
Determinação da probabilidade de um pixel pertencer a uma região da pele
usando um modelo de distribuição Gaussiana;
Permite a segmentação da imagem em zonas de pele (representação binária).
Imagem originalImagem
comProváveis regiões de
Pele
Imagem Bináriacom
Prováveis regiões de Pele determinadas
Exemplo obtido usando Matlab
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | MetodologiasMetodologias| Aplicação | Modelos | Conclusões | Trabalho Futuro
Método dos Modelos Protótipos DeformáveisDescrição sucinta:
Permitem a detecção de faces e a extracção de características faciais;
Modelos parametrizados, os parâmetros conferem-lhes comportamento deformável;
Considera o principio da Minimização de Energia (uso de algoritmos de optimização, como o gradiente descendente ou simplex) o que permite a comparação de características;
É necessário aplicar um Pré-processamento às imagens originais de forma a realçar as características a considerar.
Imagem original[Yuille, 1992]
Vales de Intensidade
Orlas de Intensidade
Picos de Intensidade
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| Aplicação | ModelosModelos | Conclusões | Trabalho Futuro
Modelo Protótipo Definido para o Olho
Modelo Protótipo Definido para a Boca Fechada e Aberta
( )cMin E f
( )1 2, , , , , , , ,c ef x x p p r a b c θ=
Energia Externa
Energia Externa
1 2 1 2( , , , , , , , , )mg x a b b u u h c θ=
( )_close mouthMin E g
Energia Externa
1 2 1 2( , , , , , , , , , )m t b t bh x a a b b u u h h c θ=
( )_open mouthMin E h
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| Aplicação | ModelosModelos | Conclusões | Trabalho Futuro
Ajuste Dinâmico do ModeloProtótipo
Definido para o Olho
Ajuste Dinâmico do ModeloProtótipo
Definido para a Boca
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| Aplicação | Modelos | ConclusõesConclusões | Trabalho Futuro
Algumas Conclusões:
O Algoritmo de detecção de zonas de pele apresenta bons resultados ao nível da detecção da face, embora a existência de outras partes do corpo na imagem implica que as mesmas sejam também detectadas.
O algoritmo de correlação cruzada é eficiente, embora raramente apresente resultados conclusivos quando a imagem em estudo é bastante distinta da usada para extrair a sub-imagem usada na correlação.
Atendendo à importância desta área, no domínio da Visão Computacional, são muitas as perspectivas de trabalho futuro.
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| IntroduIntroduççãoão | Metodologias| Aplicação | Modelos | Conclusões | TrabalhoTrabalho FuturoFuturo
Perspectivas de Trabalho Futuro:
Algoritmos mais avançadas de detecção de zonas de pele, por exemplo considerando a rotação da face…;
Realização de ensaios experimentais usandomodelos protótipos deformáveis;(Implementações a desenvolver em Matlab)
Considerar a interacção entre modelos protótiposdeformáveis;
Aplicação do método dos protótipos deformáveis ao seguimento de características faciais em sequências de Imagens.(Em combinação com filtragem estocástica, como por exemplo o filtro de Kalman)
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
Bibliografia Básica:
Steven C. Chapra, Raymond P. CanaleNumerical Methods for EngineersMcGraw-Hill – 1988
A. Yuille, P. Hallinan, D. Cohen, “Feature Extraction fromFaces Using Deformable Templates,” Int’l J. Computer Vision, vol. 8, no. 2, pp. 99-111, 1992
Maja Pantic, leon J. M. RothKrantz, “Automatic Analysis of Facial Expressions: The state of the art” vol. 22, no 12, December 2000
Ming Yang, David J. Kriegman, Narendra Ahuja, “Detecting Faces in Images: A Survey”, vol. 24, no 1, January 2002
4as Jornadas Politécnicas de Engenharia Fernando Carvalho, João Tavares