Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor...
Transcript of Foto 3D Allan Rocha Daniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor...
Foto 3DAllan Rocha
Daniel Campos
Disciplina:Visão Computacional e Realidade Aumentada
Professor :Marcelo Gattass
Departamento de Informática
Tópicos• Motivação• Pipeline Foto 3D
- Calibração de Câmeras
- Calibração Câmera-Projetor
- Reconstrução no Espaço da Imagem
- Geração de Malhas• Atualizações• Resultados• Referências
Departamento de Informática
Algumas aplicações para Foto 3D:
• Museus virtuais• Replicas físicas• Medicina• Cálculos geométricos• Arquivos permanente• E-commerce• Moda• Etc…
Departamento de Informática
Algumas aplicações para Foto 3D:Entretenimento / Moda / Medicina
Departamento de Informática
Algumas aplicações para Foto 3D:
Stanford University
Digital Michelangelo, 1997-2003
Departamento de Informática
ITC - USCParthenon, 2002-2004
Departamento de Informática
Reconstrução tridimensional
• Princípio: estereoscopia (visão binocular)
• Necessário conhecer a relação entre pontos da
imagem e os pontos correspondentes do espaço.
Departamento de Informática
Departamento de Informática
Modelagem e calibração de câmeras
Modelagem
•Qual é a forma da função que associa acada ponto do espaço sua posição naimagem?
•De que parâmetros depende?
Departamento de Informática
Modelagem e calibração de câmeras
Calibração
•Para uma câmera específica, quais são osvalores destes parâmetros?Modelos de câmera- Câmera pin-hole equivalente- Deformação radial causada pelas lentes(modelo empírico)
• Que técnicas matemáticas são apropriadas para lidar comprojeções perspectivas?
Modelos de câmera
Departamento de Informática
Modelos de câmera• Câmera pin-hole equivalente
• Deformação radial causada pelas lentes
(modelo empírico)
Departamento de Informática
• Câmera pin-hole
• Projeção perspectiva
• Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas?
Departamento de Informática
Departamento de Informática
Departamento de Informática
Departamento de Informática
Departamento de Informática
Departamento de Informática
Departamento de Informática
Departamento de Informática
• Calibração de câmera
• Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera.
• Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem.
Departamento de Informática
• Calibração de câmeras
• Calibração ↔ estimação de parâmetros →otimização
Departamento de Informática
Resolvendo o problema de otimização
• Otimização não-linear
• Obtenção de uma boa solução inicial
• Utilização de um método iterativo para
melhorar a solução obtida
Departamento de Informática
• Resolvendo o problema de otimização
• Otimização não-linear
• Obtenção de uma boa solução inicial
– método de Tsai
– método de Zhang(Não implementado)
• Utilização de um método iterativo para
melhorar a solução obtida
– método de Levenberg-Marquardt
Departamento de Informática
• Método de Tsai
• Padrão de calibração bidimensional (também há uma versão para padrão tridimensional).
• Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados).
• Resolve uma sequência de problemas de mínimos quadrados lineares
Departamento de Informática
Departamento de Informática
Método de Tsai
• Método de Tsai• Cada par cena-imagem fornece uma equação
envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty
Departamento de Informática
• Método de Tsai• Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados).• As condições de ortonormalidade
permitem, a partir daí, obter R, Tx e Ty.(ficam faltando f e Tz)
Departamento de Informática
• Método de Tsai• Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados).• As condições de ortonormalidade
permitem, a partir daí, obter R, Tx e Ty.(ficam faltando f e Tz)
Departamento de Informática
• Método de Tsai
• Os valores de f e Tz são encontrados por
meio de outro problema de mínimos
quadrados.
Departamento de Informática
Exemplo
Departamento de Informática
• Calibração conjunta de câmeras• Padrão de calibração estacionário
• Parâmetros extrínsecos com relação a este sistema
Departamento de Informática
• Calibração câmera-projetor
• Projetor não pode ser calibrado diretamente através de padrão de calibração!
Departamento de Informática
• Calibração câmera-projetor
-A idéia básica é projetar uma imagem conhecida e identificar as coordenadas
dos pontos da cena em que determinados pontos desta imagem se projetam.
-Utiliza a câmera que já foi calibrada.
Departamento de Informática
• Calibração câmera-projetor
• Câmera calibrada normalmente (com padrão de calibração)• Projetor calibrado através da câmera: projeção de padrão
conhecido sobre o plano do padrão de calibração
Departamento de Informática
Exemplo
Departamento de Informática
Departamento de Informática
Reconstrução no Espaço da Imagem:
• Baseado na reconstrução do objeto no espaço local do dispositivo.
• Consiste em três etapas:
- Aquisição de retalhos da superfície do objeto;
- Alinhamento de retalhos;e
-Construção da superfície
Departamento de Informática
Reconstrução no Espaço da Imagem:Estereoscopia e Triangulação
• O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena.
• A partir daí é realizada a triangulação e calculado a
profundidade do ponto.
Departamento de Informática
Reconstrução no Espaço da Imagem:Luz Estruturada
Complexidade
Departamento de Informática
Reconstrução no Espaço da Imagem:Luz Estruturada
Departamento de Informática
Reconstrução no Espaço da Imagem:Luz Estruturada
Pipeline - Calibrar o par câmera/projetor;
- Capturar as imagens do objeto com os padrões projetados;
- Processar as imagens para correlacionar os pixels da câmera e do projetor;
- Realizar a triangulação para recuperar a profundidade do pixel.
Departamento de Informática
Reconstrução no Espaço da Imagem:Luz Estruturada
Taxonomia
Departamento de Informática
Reconstrução no Espaço da Imagem:Luz Estruturada
• A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados.
• Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor.
• O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada.
Departamento de Informática
Reconstrução no Espaço da Imagem:Luz Estruturada
Departamento de Informática
Reconstrução no Espaço da Imagem:Aquisição de retalhos da superfície do ObjetoTriangulação- Cálculo da distância de pontos visíveis do objeto em
relação ao dispositivo de captura.
Departamento de Informática
Reconstrução no Espaço da Imagem:Aquisição de retalhos da superfície do Objeto
Departamento de Informática
Reconstrução no Espaço da Imagem:Aquisição de retalhos da superfície do Objeto
Interseção no espaço da câmera:
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído.
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
Departamento de Informática
1
15
8
6
2
conversãoem meshes
(scanning, triangulação)
alinhamento
(pair-wise registration)
alinhamento global
(multi-viewregistration)
Modelo final
• Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto.
• Suposição de uma 1º transformação relativa
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Como encontrar os pares de pontos correspondentes?
• Solução em Sistemas Inicias: • definição por parte do utilizador (manual)• correspondência de primitivas (features),• assinaturas de superficies, etc.
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Solução alternativa: assumir que o ponto mais próximo é o par correspondente, determinar a melhor
transformação, ....
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos• … e iterativamente encontrar e refinar o alinhamento
– Iterated Closest Points (ICP) [Besl & McKay 92]• O sistema converge se a suposição para 1ª
transformação fôr suficientemente conhecida “close enough“ ???
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
Departamento de Informática
Algoritmo ICP Original
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos• Problema do melhor alinhamento de pares de pontos
comuns:
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Problema do melhor alinhamento de pares de pontos comuns:
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Problema do melhor alinhamento de pares de pontos comuns:
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Problema do melhor alinhamento de pares de pontos comuns:
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Alinhamento Global-Quando o alinhamento aos pares é utilizado sequencialmente para alinhar um conjunto de retalhos, os erros se acumulam e o alinhamento global fica insatisfatório.-Intratável do ponto de vista de otimização.
Departamento de Informática
Reconstrução no Espaço da Imagem:Alinhamento dos Retalhos
• Alinhamento GlobalSolução baseada em diferentes heurísticas;
Departamento de Informática
Registro Automático de Superfícies Usando Spin-ImagesThales Vieira, Adelailson Peixoto (UFAL)
Luiz Velho IMPA
Departamento de Informática
Resumo: Registro e reconstrução de malhas a partir de scanner 3D.
Motivação: Estimativa inicial de alinhamento das malhas no método ICP.
Objetivo: Obtenção do alinhamento inicial de forma automática utilizando descritores spin image.
Introdução Departamento de Informática
Introdução
Modelagem é uma tarefa trabalhosa, com isso surgem os scanners 3D.
Scanners 3D geram malhas utilizando o conceito de range images (valor dos pixels correspondente a dis-tância).
A partir de range images é possível gerar as malhas triangulando seus pontos adjacentes.
Departamento de Informática
Introdução
Impossível gerar pontos de toda a superfície apenas de um ponto de vista, devido a oclusão.
Necessário capturar várias range images.
Range images geram malhas num sistema de coordenadasLocal, então se faz necessário alinhar as malhas de acordocom um sistema de coordenadas global.
Departamento de Informática
Problema:
O problema de registro de superfícies consiste em determinar transformações que otimizam o alinhamento entre um conjunto de malhas que representam o mesmo objeto.
Do ponto de vista matemático, dadas duas malhas ma e mb, onde o sistema de coordenadas ma é fixados como sistemas de coordenadas global, o problema consiste em encontrar o movimento rígido T.
Departamento de Informática
Problema:
Malhas do modelo da branca(IMPA) capturada de vários pontos de vista.
Departamento de Informática
Problema:
Registro de Superfícies
Departamento de Informática
Não garante a convergência do erro global.
Necessitam que as malhas tenham uma estimativa inicial do alinhamento.
Algoritmo ICP resolve?
Tem como resolver problema do alinhamento inicial ?
Departamento de Informática
Propósito do Trabalho:
Dado um conjunto de malhas que representam um determinado objeto, este trabalho apresenta uma estratégia de alinhar automaticamente todos os pares de malhas que possuem sobreposição, e gerar o modelo final.
Departamento de Informática
Descritores Spin Images
Os descritores spin-images (Johnson 1997) são imagens bidimensionais que descrevem propriedades globais da geometria de um objeto a partir de bases locais criadas em pontos orientados da superfície.
Propriedade. Invariância por movimentos rígidos.
Duas malhas extraídas de range images possuem spin-images semelhantes.
Departamento de Informática
Descritores Spin-Images
Considerando o problema de registro de superfícies, as spin-images se apresentam como boas candidatas para realizar a descrição de pontos das superfícies.
Correspondência entre pontos tridimensionais pode ser feita através da comparação de imagens bidimensionais, pois pontos correspondentes tem spin-images semelhantes.
Departamento de Informática
Descritores Spin-Images
Spin-map
Para a criação de spin-images, associa-se aos pontos da superfície o seu vetor normal.
O vetor normal pode ser calculado como o vetor do plano que melhor se encaixa nos seus vizinhos.
Departamento de Informática
Ponto p com normal n define um sistema de coordenadas local, usando o plano P tangente e a reta L, que passa por p e a paralela a n.
são definidos pela distancia perpendicular a L e pela distancia ate o plano P(sistema de coordenadas cilíndricas).
Spin-map Departamento de Informática
Spin-map
Transformando pontos da superfície no sistema de coordenadas anterior, obtemos o spin-map.
Essa aplicação projeta pontos da superfície em pontos bidimensionais, dado um ponto orientado O = (p; n). Portanto, um spin-map é uma aplicação de R³ em R², que mapeia:
Departamento de Informática
Spin-images
A imagem de uma aplicação spin-map é um conjunto de pontos bidimensionais, projetados a partir de pontos da superfície, que descreve a geometria do objeto.
Problema:
Não são ideais para realização de comparações, devido a variações de amostragem, visão e ruído.
Exemplo falta de exatidão na posição entre vértices.
Solução:
Discretização da imagem utilizando Bins.
Departamento de Informática
Spin-images Departamento de Informática
Parâmetros das Spin-images
Tamanho dos bins
Bins grandes podem tornar a descrição da superfície nãomuito clara.
Bins pequenos podem não ser suficientes para anular os efeitos das posições individuais dos pontos.
Medida utilizada foi de acordo como um múltiplo da resolução da malha, definida pela mediana dos comprimentos das arestas.
Departamento de Informática
Departamento de Informática
Parâmetros das Spin-images
Largura da imagem
Determina a quantidade de bins, ou pixels da imagem, na horizontal e na vertical.
Denomina-se distância suporte o produto do tamanho dos bins pela largura da imagem.
Departamento de Informática
Problemas: Larguras muito baixas e muito altas.
Parâmetros das Spin-images
Ângulo suporte
O ângulo suporte indica o ângulo máximo entre a normal do ponto orientado da base da spin-image e as normais dos pontos da superfície.
Departamento de Informática
Imagens criadas por pontos correspondentes pertencentes a diferente visões não serão exatamente iguais.
Comparação de Spin-images
Técnicas de comparação de imagens de Johnson (1997)
Define-se o coeficiente de correlação linear entre duas imagens P e Q pela função
onde pi e qi são os tons de cinza dos pixels de P e Q, e N é a quantidade de pixels da imagem. Varia entre -1 e 1.
Departamento de Informática
Comparação de Spin-images
Técnicas de comparação de imagens de Johnson (1997)
Faz-se necessário, então, o uso de uma outra técnica que leve em conta a quantidade de pixels na região de sobreposição.
Problema:
Duas imagens com pequena região de sobreposição podem ter coeficiente maior, no entanto grande região de sobreposição pode ter um coeficiente menor.
Departamento de Informática
Comparação de Spin-images
Técnicas de comparação de imagens de Johnson (1997)
Define-se medida de similaridade pela função :
Uma técnica que resolve bem este problema é a medida de similaridade, que considera, além do coeficiente de correlação linear, sua variância, para medir sua confiabilidade.
onde N é a quantidade de pixels na região de sobreposição e é um peso associado à variância.
é a metade da mediana, da quantidade de bins que possuem valornulo, esse valor é medido para cada spin-image.
Departamento de Informática
Seleção de pontos
Seleção por Curvatura Local
Cálculo de curvatura em todos os pontos das malhas.
Uma propoção dos pontos com maior curvatura é selecionadoem ambas as malhas para criação dos spin-images
Força Bruta
O(nm). Comparar todos os spin-imagens da malha m com os da malha n.
Departamento de Informática
Seleção de pontos
Curvaturas analisadas no trabalho
Curvatura média
Curvatura Gaussiana
Curvatura principal máxima
Soma dos quadrados das curvaturas principais
Melhor resultado foi a soma dos quadrados das curvaturas principais.
Departamento de Informática
Seleção de pontos Departamento de Informática
Efetuadas para garantir a consistência das correspondências.
1ª Filtragem
Elimina correspondências que tenham similaridades abaixo dametade da maior similaridade existente entre as correspondências.
2ª Filtragem Teste de consistência geométrica baseado na seguinte afirmação:
Sejam duas correspondências
serão consistentes se
Filtragens Departamento de Informática
Filtragens
no sistema de coordenadas local definido isso é equivalente a analisaras funções:
onde S é a aplicação spin-map.
A primeira equação normaliza a diferença das distâncias de acordo com a media das normas das coordenadas spin-map.
Na segunda equação se Dgc é pequeno então as correspondências sãogeometricamente consistentes.
Departamento de Informática
Agrupamento
Agrupar algumas correspondências utilizando critérios que garantam uma boa transformação.
Minimizar efeitos de ruído.
Um grupo criado com pelo menos 3 correspondência deve sercapaz de gerar uma boa transformação.
Nesta etapa são utilizado dois critérios:
Consistência geométrica. Distância entre as correspondências. Quanto mais espalhadasas correspondências estiverem, maior as chances de obter uma boa transformação.
Departamento de Informática
Agrupamento
Assim esses dois requisitos combinados geram as seguintes funções:
Se C1 e C2 forem geometricamente consistentes e distantes, Wgc será pequeno.
Departamento de Informática
Calculo da Transformação - Algoritmo de Horn
Dado um grupo de correspondências, formadas por pontos em dois sistemas de coordenadas locais, a saber, os sistemas de coordenadas
das duas malhas, é necessário encontrar o movimento rígido que minimize a distância entre os pares de pontos. Uma solução para esse problema usando mínimos quadrados foi desenvolvida por Horn (1987)
Esse método utiliza quatérnios e mínimos quadrados para calcular movimentos rígidos entre correspondências.
Departamento de Informática
Ilustrações Departamento de Informática
Ilustrações Departamento de Informática
Refinamento do registro usando ICP.Reconstrução do Modelo.Resultados
Departamento de Informática
Refinamento do registro usando ICP.Reconstrução do Modelo.Resultados
Demonstração
Departamento de Informática
Conclusões e Referências
Registro Automático de Superfícies Usando Spin-Images. ThalesViera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA.
Registro Automático de Superfícies Usando Spin-Images. Thales Viera e Adelailson Peixoto, dissertação de mestrado, UFAL.
An iterative framework for registration with reconstruction. ThalesViera, Adelailson Peixoto(UFAL),Thomas Lewiner(PUC-Rio), Luiz Velho IMPA.
Departamento de Informática
Atualizações• Z Cam -Possui sensores capazes de medir a profundidade de cada pixel
capturado usando o princípio Time-of-Flight.
Departamento de Informática
AtualizaçõesZ Cam• Time-of-Flight -Emissão de pulsos infra-red para todos os objetos da cena
capturando, de volta, a luz refletida de cada objeto.-Os objetos da cena são ordenados no eixo Z gerando um mapa de profundidade em escala de cinza.
Departamento de Informática
AtualizaçõesDemo
Departamento de Informática
Resultados
Departamento de Informática
Referências• Fotografia 3D-Paulo Cezar Carvalho,Luiz Velho, Asla
Sá, Esdras Medeiros, Anselmo Antunes Montengro, Adelailson Peixoto, Luis Antonio Rivera Escriba.
• Um Sistema Genérico de Calibração de Câmera- Clarissa Marques, UFAL, Adelailson Peixoto, UFAL, Thomas Lewiner,PUC-Rio.
• An iterative framework for registration with reconstruction-Thales Vieira[1], Adelailson Peixoto[2], Luiz Velho[3], Thomas Lewiner[1]
[1]PUC-Rio de Janeiro, [2] UFAL-Maceió, [3] Visgraf Lab, IMPA-Rio de Janeiro
Departamento de Informática
FIM
Departamento de Informática