Post on 10-Jan-2016
description
1FEUP – Faculdade de Engenharia da Universidade do Porto
2LOME – Laboratório de Óptica e Mecânica Experimental do INEGI – Instituto de Engenharia Mecânica e Gestão Industrial
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento
de Objectos em Imagens
Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2
Maria João M. Vasconcelos, João Manuel R. S. Tavares 2
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Resumo: Nesta apresentação será descrita uma técnica de modelação de objectos, representados em imagens, baseada em análise estatística, assim como a sua utilização na segmentação e reconhecimento de objectos em novas imagens.
Índice:
1. Introdução;
2. Modelo Pontual de Distribuição (PDM);
3. Modelos de Forma Activa (ASM) e Modelos de Aparência Activa (AAM);
4. Modelos usados;
5. Resultados experimentais;
6. Conclusões e Trabalho Futuro.
Maria João M. Vasconcelos, João Manuel R. S. Tavares 3
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
Análise de objectos representados em imagens
– Área da Visão Computacional• “Conjunto de métodos e técnicas através dos quais sistemas
computacionais são capazes de interpretar imagens.”
– Modelização de objectos• Modelos flexíveis – modelos estatísticos que permitem analisar e
simular objectos que apresentam formas variáveis em imagens.
– Aplicações• Medicina – localização de estruturas em imagens médicas;
• Indústria – inspecção de produtos;
• Sistemas de segurança – reconhecimento de faces;
• …
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 4
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
• Modelos Pontuais de Distribuição:– Propostos por Cootes e Taylor em 1992;
– Método de modelização de objectos baseado em análise estatística;
– Estudam a forma geométrica dos objectos e suas variações;
– Variantes:• Modelos de Forma Activa;
• Modelos de Aparência Activa.
– São utilizados na segmentação e reconhecimento de objectos em imagens.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 5
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
Conjunto de treino Construção do vector de coordenadas para cada objecto:
1 1, , , , ,T
i in ini ix x x y y
- 1 si N ,
- sN número de objectos,
- n número de pontos-chave.
Encontrar a forma média, x e os modos de variação aplicando uma análise em componentes principais aos desvios da média.
Modelo Pontual de Distribuição: x x Pb
- 1 tP p p matriz dos
primeiros t vectores próprios; - 1 tb b b vector de pesos
de cada valor próprio.
Representação dos objectos por um conjunto de pontos-chave:
Alinhamento dos objectos pela sua rotação, translação e redimensionamento:
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Etapas:
Maria João M. Vasconcelos, João Manuel R. S. Tavares 6
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
Utilização dos PMDs na pesquisa de objectos:
1. Modelos de Forma Activa – ASMs:– Modelo da forma geométrica;
– Perfis de intensidade dos pontos-chave:• Níveis de cinzento em torno de cada ponto-chave são semelhantes nas
várias imagens.
– Fase de pesquisa:• Estudo da região de cada ponto-chave para calcular o movimento
associado;
• Cálculo dos parâmetros de forma e de pose do PDM;
• Actualização dos parâmetros tendo em conta os limites impostos.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 7
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
2. Modelos de Aparência Activa – AAMs:– Modelo da forma geométrica;– Modelo de textura:
• Deforma-se cada instância do objecto para coincidir com a forma média;
• Obtém-se os níveis de cinzento da imagem do modelo normalizado:
– Modelo de aparência:• Combinação do modelo da forma com o modelo de textura.
– Modelo activo:• Considera a relação entre os parâmetros obtidos pelo modelo de
aparência e os erros residuais existentes entre a nova instância e modelo construído.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
.g gg g P b
Maria João M. Vasconcelos, João Manuel R. S. Tavares 8
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
Modelos usados:
1. Mão• 25 imagens de treino;
• 4 indivíduos diferentes;
• Etiquetadas automaticamente com 65 pontos-chave.
2. Face– 25 imagens de treino;
– 1 indivíduo;
– Etiquetadas manualmente com 68 pontos-chave.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 9
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
• Colocação automática de pontos-chave (mão)
1. Extracção do contorno da mão através de um algoritmo de detecção de zonas de pele;
2. Cálculo das zonas de maior curvatura do contorno;
3. Delimitação da zona da mão (eliminar a zona do pulso);
4. Colocação dos pontos-chave tendo em conta as zonas de maior curvatura.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 10
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
1. Mão– 65 Pontos-
chave
(automático)
2. Face– 68 Pontos-
chave
(manual)
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 11
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
1. Mão
• ASM– Os primeiros
6 modos de variação explicam 95% da variância total da forma geométrica.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
2 0 2i i
1º m
odo
2º m
odo
3º m
odo
Maria João M. Vasconcelos, João Manuel R. S. Tavares 12
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
2. Face| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
• Modelo da forma– Os primeiros 4 modos
explicam 95% da variância total da forma geométrica.
• Modelo de aparência– Os primeiros 5 modos
explicam 95% da variação total da aparência.
1º m
odo
2º m
odo
3º m
odo
1º m
odo
2º m
odo
3º m
odo
Maria João M. Vasconcelos, João Manuel R. S. Tavares 13
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
3. Modelos de Forma Activa
17ª it13ª it5ª itPosição inicial
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Posição inicial 9ª it 19ª it 29ª it
(imagens “novas”)
Maria João M. Vasconcelos, João Manuel R. S. Tavares 14
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
3. Modelos de Aparência Activa
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Imagem original 8ª iteração 15ª iteração Imagem reconstruída
Exemplo de segmentação usando o modelo de aparência activa construído para a face numa imagem de teste.
(imagem “nova”)
Maria João M. Vasconcelos, João Manuel R. S. Tavares 15
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
Conclusões:• Foi apresentada uma metodologia que permite construir
modelos flexíveis, para objectos deformáveis representados em imagens, baseada em análise estatística.
• Os modelos descritos têm aplicações em várias áreas, desde a localização de estruturas em imagens médicas até ao reconhecimento de faces.
• Os resultados experimentais obtidos mostram que os métodos activos permitem segmentar e localizar adequadamente o objecto modelizado em novas imagens.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
Maria João M. Vasconcelos, João Manuel R. S. Tavares 16
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens
Perspectivas de Trabalho Futuro:
• Automatizar a etapa da colocação e emparelhamento dos pontos-chave em imagens de faces:
1. Usar uma metodologia semelhante à desenvolvida para as mãos: contornos dos olhos, boca e contorno “inferior” da face;
2. Considerar como pontos-chave os nodos de uma malha rectangular adaptativa e multiresolução colocada adequadamente na imagem.
• Comparar experimentalmente os modelos de forma activa com os modelos de aparência activa.
| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |
1FEUP – Faculdade de Engenharia da Universidade do Porto
2LOME – Laboratório de Óptica e Mecânica Experimental do INEGI – Instituto de Engenharia Mecânica e Gestão Industrial
Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento
de Objectos em Imagens