Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor...

103
Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática

Transcript of Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor...

Page 1: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Foto 3DAllan Rocha

Daniel Campos

Disciplina:Visão Computacional e Realidade Aumentada

Professor :Marcelo Gattass

Departamento de Informática

Page 2: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Tópicos• Motivação• Pipeline Foto 3D

- Calibração de Câmeras

- Calibração Câmera-Projetor

- Reconstrução no Espaço da Imagem

- Geração de Malhas• Atualizações• Resultados• Referências

Departamento de Informática

Page 3: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Algumas aplicações para Foto 3D:

• Museus virtuais• Replicas físicas• Medicina• Cálculos geométricos• Arquivos permanente• E-commerce• Moda• Etc…

Departamento de Informática

Page 4: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Algumas aplicações para Foto 3D:Entretenimento / Moda / Medicina

Departamento de Informática

Page 5: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Algumas aplicações para Foto 3D:

Stanford University

Digital Michelangelo, 1997-2003

Departamento de Informática

ITC - USCParthenon, 2002-2004

Page 6: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 7: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução tridimensional

• Princípio: estereoscopia (visão binocular)

• Necessário conhecer a relação entre pontos da

imagem e os pontos correspondentes do espaço.

Departamento de Informática

Page 8: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Modelagem e calibração de câmeras

Modelagem

•Qual é a forma da função que associa acada ponto do espaço sua posição naimagem?

•De que parâmetros depende?

Page 9: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Modelagem e calibração de câmeras

Calibração

•Para uma câmera específica, quais são osvalores destes parâmetros?Modelos de câmera- Câmera pin-hole equivalente- Deformação radial causada pelas lentes(modelo empírico)

• Que técnicas matemáticas são apropriadas para lidar comprojeções perspectivas?

Page 10: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Modelos de câmera

Departamento de Informática

Page 11: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Modelos de câmera• Câmera pin-hole equivalente

• Deformação radial causada pelas lentes

(modelo empírico)

Departamento de Informática

Page 12: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Câmera pin-hole

• Projeção perspectiva

• Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?

Departamento de Informática

Page 13: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 14: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 15: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 16: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 17: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 18: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 19: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 20: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Calibração de câmera

• Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera.

• Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem.

Departamento de Informática

Page 21: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Calibração de câmeras

• Calibração ↔ estimação de parâmetros →otimização

Departamento de Informática

Page 22: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Resolvendo o problema de otimização

• Otimização não-linear

• Obtenção de uma boa solução inicial

• Utilização de um método iterativo para

melhorar a solução obtida

Departamento de Informática

Page 23: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Resolvendo o problema de otimização

• Otimização não-linear

• Obtenção de uma boa solução inicial

– método de Tsai

– método de Zhang(Não implementado)

• Utilização de um método iterativo para

melhorar a solução obtida

– método de Levenberg-Marquardt

Departamento de Informática

Page 24: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Método de Tsai

• Padrão de calibração bidimensional (também há uma versão para padrão tridimensional).

• Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados).

• Resolve uma sequência de problemas de mínimos quadrados lineares

Departamento de Informática

Page 25: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Método de Tsai

Page 26: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Método de Tsai• Cada par cena-imagem fornece uma equação

envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty

Departamento de Informática

Page 27: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Método de Tsai• Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados).• As condições de ortonormalidade

permitem, a partir daí, obter R, Tx e Ty.(ficam faltando f e Tz)

Departamento de Informática

Page 28: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Método de Tsai• Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados).• As condições de ortonormalidade

permitem, a partir daí, obter R, Tx e Ty.(ficam faltando f e Tz)

Departamento de Informática

Page 29: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Método de Tsai

• Os valores de f e Tz são encontrados por

meio de outro problema de mínimos

quadrados.

Departamento de Informática

Page 30: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Exemplo

Departamento de Informática

Page 31: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Calibração conjunta de câmeras• Padrão de calibração estacionário

• Parâmetros extrínsecos com relação a este sistema

Departamento de Informática

Page 32: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Calibração câmera-projetor

• Projetor não pode ser calibrado diretamente através de padrão de calibração!

Departamento de Informática

Page 33: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Calibração câmera-projetor

-A idéia básica é projetar uma imagem conhecida e identificar as coordenadas

dos pontos da cena em que determinados pontos desta imagem se projetam.

-Utiliza a câmera que já foi calibrada.

Departamento de Informática

Page 34: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Calibração câmera-projetor

• Câmera calibrada normalmente (com padrão de calibração)• Projetor calibrado através da câmera: projeção de padrão

conhecido sobre o plano do padrão de calibração

Departamento de Informática

Page 35: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Exemplo

Departamento de Informática

Page 36: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 37: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:

• Baseado na reconstrução do objeto no espaço local do dispositivo.

• Consiste em três etapas:

- Aquisição de retalhos da superfície do objeto;

- Alinhamento de retalhos;e

-Construção da superfície

Departamento de Informática

Page 38: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Estereoscopia e Triangulação

• O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena.

• A partir daí é realizada a triangulação e calculado a

profundidade do ponto.

Departamento de Informática

Page 39: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Luz Estruturada

Complexidade

Departamento de Informática

Page 40: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Luz Estruturada

Departamento de Informática

Page 41: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Luz Estruturada

Pipeline - Calibrar o par câmera/projetor;

- Capturar as imagens do objeto com os padrões projetados;

- Processar as imagens para correlacionar os pixels da câmera e do projetor;

- Realizar a triangulação para recuperar a profundidade do pixel.

Departamento de Informática

Page 42: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Luz Estruturada

Taxonomia

Departamento de Informática

Page 43: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Luz Estruturada

• A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados.

• Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor.

• O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada.

Departamento de Informática

Page 44: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Luz Estruturada

Departamento de Informática

Page 45: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Aquisição de retalhos da superfície do ObjetoTriangulação- Cálculo da distância de pontos visíveis do objeto em

relação ao dispositivo de captura.

Departamento de Informática

Page 46: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Aquisição de retalhos da superfície do Objeto

Departamento de Informática

Page 47: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Aquisição de retalhos da superfície do Objeto

Interseção no espaço da câmera:

Departamento de Informática

Page 48: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído.

Departamento de Informática

Page 49: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

Departamento de Informática

1

15

8

6

2

conversãoem meshes

(scanning, triangulação)

alinhamento

(pair-wise registration)

alinhamento global

(multi-viewregistration)

Modelo final

Page 50: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

• Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto.

• Suposição de uma 1º transformação relativa

Departamento de Informática

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

Page 51: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles

Departamento de Informática

Page 52: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Como encontrar os pares de pontos correspondentes?

• Solução em Sistemas Inicias: • definição por parte do utilizador (manual)• correspondência de primitivas (features),• assinaturas de superficies, etc.

Departamento de Informática

Page 53: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor

transformação, ....

Departamento de Informática

Page 54: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos• … e iterativamente encontrar e refinar o alinhamento

– Iterated Closest Points (ICP) [Besl & McKay 92]• O sistema converge se a suposição para 1ª

transformação fôr suficientemente conhecida “close enough“ ???

Departamento de Informática

Page 55: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

Departamento de Informática

Algoritmo ICP Original

Page 56: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos• Problema do melhor alinhamento de pares de pontos

comuns:

Departamento de Informática

Page 57: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática

Page 58: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática

Page 59: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Problema do melhor alinhamento de pares de pontos comuns:

Departamento de Informática

Page 60: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Alinhamento Global-Quando o alinhamento aos pares é utilizado sequencialmente para alinhar um conjunto de retalhos, os erros se acumulam e o alinhamento global fica insatisfatório.-Intratável do ponto de vista de otimização.

Departamento de Informática

Page 61: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos

• Alinhamento GlobalSolução baseada em diferentes heurísticas;

Departamento de Informática

Page 62: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Registro Automático de Superfícies Usando Spin-ImagesThales Vieira, Adelailson Peixoto (UFAL)

Luiz Velho IMPA

Departamento de Informática

Page 63: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Resumo: Registro e reconstrução de malhas a partir de scanner 3D.

Motivação: Estimativa inicial de alinhamento das malhas no método ICP.

Objetivo: Obtenção do alinhamento inicial de forma automática utilizando descritores spin image.

Introdução Departamento de Informática

Page 64: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Introdução

Modelagem é uma tarefa trabalhosa, com isso surgem os scanners 3D.

Scanners 3D geram malhas utilizando o conceito de range images (valor dos pixels correspondente a dis-tância).

A partir de range images é possível gerar as malhas triangulando seus pontos adjacentes.

Departamento de Informática

Page 65: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Introdução

Impossível gerar pontos de toda a superfície apenas de um ponto de vista, devido a oclusão.

Necessário capturar várias range images.

Range images geram malhas num sistema de coordenadasLocal, então se faz necessário alinhar as malhas de acordocom um sistema de coordenadas global.

Departamento de Informática

Page 66: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Problema:

O problema de registro de superfícies consiste em determinar transformações que otimizam o alinhamento entre um conjunto de malhas que representam o mesmo objeto.

Do ponto de vista matemático, dadas duas malhas ma e mb, onde o sistema de coordenadas ma é fixados como sistemas de coordenadas global, o problema consiste em encontrar o movimento rígido T.

Departamento de Informática

Page 67: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Problema:

Malhas do modelo da branca(IMPA) capturada de vários pontos de vista.

Departamento de Informática

Page 68: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Problema:

Registro de Superfícies

Departamento de Informática

Page 69: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Não garante a convergência do erro global.

Necessitam que as malhas tenham uma estimativa inicial do alinhamento.

Algoritmo ICP resolve?

Tem como resolver problema do alinhamento inicial ?

Departamento de Informática

Page 70: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Propósito do Trabalho:

Dado um conjunto de malhas que representam um determinado objeto, este trabalho apresenta uma estratégia de alinhar automaticamente todos os pares de malhas que possuem sobreposição, e gerar o modelo final.

Departamento de Informática

Page 71: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Descritores Spin Images

Os descritores spin-images (Johnson 1997) são imagens bidimensionais que descrevem propriedades globais da geometria de um objeto a partir de bases locais criadas em pontos orientados da superfície.

Propriedade. Invariância por movimentos rígidos.

Duas malhas extraídas de range images possuem spin-images semelhantes.

Departamento de Informática

Page 72: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Descritores Spin-Images

Considerando o problema de registro de superfícies, as spin-images se apresentam como boas candidatas para realizar a descrição de pontos das superfícies.

Correspondência entre pontos tridimensionais pode ser feita através da comparação de imagens bidimensionais, pois pontos correspondentes tem spin-images semelhantes.

Departamento de Informática

Page 73: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Descritores Spin-Images

Spin-map

Para a criação de spin-images, associa-se aos pontos da superfície o seu vetor normal.

O vetor normal pode ser calculado como o vetor do plano que melhor se encaixa nos seus vizinhos.

Departamento de Informática

Page 74: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Ponto p com normal n define um sistema de coordenadas local, usando o plano P tangente e a reta L, que passa por p e a paralela a n.

são definidos pela distancia perpendicular a L e pela distancia ate o plano P(sistema de coordenadas cilíndricas).

Spin-map Departamento de Informática

Page 75: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Spin-map

Transformando pontos da superfície no sistema de coordenadas anterior, obtemos o spin-map.

Essa aplicação projeta pontos da superfície em pontos bidimensionais, dado um ponto orientado O = (p; n). Portanto, um spin-map é uma aplicação de R³ em R², que mapeia:

Departamento de Informática

Page 76: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Spin-images

A imagem de uma aplicação spin-map é um conjunto de pontos bidimensionais, projetados a partir de pontos da superfície, que descreve a geometria do objeto.

Problema:

Não são ideais para realização de comparações, devido a variações de amostragem, visão e ruído.

Exemplo falta de exatidão na posição entre vértices.

Solução:

Discretização da imagem utilizando Bins.

Departamento de Informática

Page 77: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Spin-images Departamento de Informática

Page 78: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Parâmetros das Spin-images

Tamanho dos bins

Bins grandes podem tornar a descrição da superfície nãomuito clara.

Bins pequenos podem não ser suficientes para anular os efeitos das posições individuais dos pontos.

Medida utilizada foi de acordo como um múltiplo da resolução da malha, definida pela mediana dos comprimentos das arestas.

Departamento de Informática

Page 79: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Departamento de Informática

Page 80: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Parâmetros das Spin-images

Largura da imagem

Determina a quantidade de bins, ou pixels da imagem, na horizontal e na vertical.

Denomina-se distância suporte o produto do tamanho dos bins pela largura da imagem.

Departamento de Informática

Problemas: Larguras muito baixas e muito altas.

Page 81: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Parâmetros das Spin-images

Ângulo suporte

O ângulo suporte indica o ângulo máximo entre a normal do ponto orientado da base da spin-image e as normais dos pontos da superfície.

Departamento de Informática

Imagens criadas por pontos correspondentes pertencentes a diferente visões não serão exatamente iguais.

Page 82: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Comparação de Spin-images

Técnicas de comparação de imagens de Johnson (1997)

Define-se o coeficiente de correlação linear entre duas imagens P e Q pela função

onde pi e qi são os tons de cinza dos pixels de P e Q, e N é a quantidade de pixels da imagem. Varia entre -1 e 1.

Departamento de Informática

Page 83: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Comparação de Spin-images

Técnicas de comparação de imagens de Johnson (1997)

Faz-se necessário, então, o uso de uma outra técnica que leve em conta a quantidade de pixels na região de sobreposição.

Problema:

Duas imagens com pequena região de sobreposição podem ter coeficiente maior, no entanto grande região de sobreposição pode ter um coeficiente menor.

Departamento de Informática

Page 84: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Comparação de Spin-images

Técnicas de comparação de imagens de Johnson (1997)

Define-se medida de similaridade pela função :

Uma técnica que resolve bem este problema é a medida de similaridade, que considera, além do coeficiente de correlação linear, sua variância, para medir sua confiabilidade.

onde N é a quantidade de pixels na região de sobreposição e é um peso associado à variância.

é a metade da mediana, da quantidade de bins que possuem valornulo, esse valor é medido para cada spin-image.

Departamento de Informática

Page 85: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Seleção de pontos

Seleção por Curvatura Local

Cálculo de curvatura em todos os pontos das malhas.

Uma propoção dos pontos com maior curvatura é selecionadoem ambas as malhas para criação dos spin-images

Força Bruta

O(nm). Comparar todos os spin-imagens da malha m com os da malha n.

Departamento de Informática

Page 86: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Seleção de pontos

Curvaturas analisadas no trabalho

Curvatura média

Curvatura Gaussiana

Curvatura principal máxima

Soma dos quadrados das curvaturas principais

Melhor resultado foi a soma dos quadrados das curvaturas principais.

Departamento de Informática

Page 87: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Seleção de pontos Departamento de Informática

Page 88: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Efetuadas para garantir a consistência das correspondências.

1ª Filtragem

Elimina correspondências que tenham similaridades abaixo dametade da maior similaridade existente entre as correspondências.

2ª Filtragem Teste de consistência geométrica baseado na seguinte afirmação:

Sejam duas correspondências

serão consistentes se

Filtragens Departamento de Informática

Page 89: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Filtragens

no sistema de coordenadas local definido isso é equivalente a analisaras funções:

onde S é a aplicação spin-map.

A primeira equação normaliza a diferença das distâncias de acordo com a media das normas das coordenadas spin-map.

Na segunda equação se Dgc é pequeno então as correspondências sãogeometricamente consistentes.

Departamento de Informática

Page 90: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Agrupamento

Agrupar algumas correspondências utilizando critérios que garantam uma boa transformação.

Minimizar efeitos de ruído.

Um grupo criado com pelo menos 3 correspondência deve sercapaz de gerar uma boa transformação.

Nesta etapa são utilizado dois critérios:

Consistência geométrica. Distância entre as correspondências. Quanto mais espalhadasas correspondências estiverem, maior as chances de obter uma boa transformação.

Departamento de Informática

Page 91: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Agrupamento

Assim esses dois requisitos combinados geram as seguintes funções:

Se C1 e C2 forem geometricamente consistentes e distantes, Wgc será pequeno.

Departamento de Informática

Page 92: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Calculo da Transformação - Algoritmo de Horn

Dado um grupo de correspondências, formadas por pontos em dois sistemas de coordenadas locais, a saber, os sistemas de coordenadas

das duas malhas, é necessário encontrar o movimento rígido que minimize a distância entre os pares de pontos. Uma solução para esse problema usando mínimos quadrados foi desenvolvida por Horn (1987)

Esse método utiliza quatérnios e mínimos quadrados para calcular movimentos rígidos entre correspondências.

Departamento de Informática

Page 93: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Ilustrações Departamento de Informática

Page 94: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Ilustrações Departamento de Informática

Page 95: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Refinamento do registro usando ICP.Reconstrução do Modelo.Resultados

Departamento de Informática

Page 96: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Refinamento do registro usando ICP.Reconstrução do Modelo.Resultados

Demonstração

Departamento de Informática

Page 97: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Conclusões e Referências

Registro Automático de Superfícies Usando Spin-Images. ThalesViera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA.

Registro Automático de Superfícies Usando Spin-Images. Thales Viera e Adelailson Peixoto, dissertação de mestrado, UFAL.

An iterative framework for registration with reconstruction. ThalesViera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA.

Departamento de Informática

Page 98: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Atualizações• Z Cam -Possui sensores capazes de medir a profundidade de cada pixel

capturado usando o princípio Time-of-Flight.

Departamento de Informática

Page 99: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

AtualizaçõesZ Cam• Time-of-Flight -Emissão de pulsos infra-red para todos os objetos da cena

capturando, de volta, a luz refletida de cada objeto.-Os objetos da cena são ordenados no eixo Z gerando um mapa de profundidade em escala de cinza.

Departamento de Informática

Page 100: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

AtualizaçõesDemo

Departamento de Informática

Page 101: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Resultados

Departamento de Informática

Page 102: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

Referências• Fotografia 3D-Paulo Cezar Carvalho,Luiz Velho, Asla

Sá, Esdras Medeiros, Anselmo Antunes Montengro, Adelailson Peixoto, Luis Antonio Rivera Escriba.

• Um Sistema Genérico de Calibração de Câmera- Clarissa Marques, UFAL, Adelailson Peixoto, UFAL, Thomas Lewiner,PUC-Rio.

• An iterative framework for registration with reconstruction-Thales Vieira[1], Adelailson Peixoto[2], Luiz Velho[3], Thomas Lewiner[1]

[1]PUC-Rio de Janeiro, [2] UFAL-Maceió, [3] Visgraf Lab, IMPA-Rio de Janeiro

Departamento de Informática

Page 103: Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass Departamento de Informática.

FIM

Departamento de Informática