Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde
description
Transcript of Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde
Adriano MeloFilipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison
Roteiro
• Realidade Aumentada• Motivações• Aplicações• ARToolkit
oFuncionamentooArquitetura
• Conclusão
Cenário
Sistemas que misturam cenários do ambiente
Sobreposição de cenários VIRTUAIS
em cenários REAIS
O que é Realidade Aumentada?
Definição
• Definição de Ronald Azuma:oCombinação de elementos virtuais com o
ambiente realo Interação e processamento em tempo realo Concebida em três dimensões
O que é Realidade aumentada:Combinação de elementos
• Combinar nem sempre é igual a adicionar
• Combinar não inclui apenas informações visuais (Enkin)
O que é Realidade aumentada:Interação em tempo real
“Using AR technology, users can interact with a combination of real and virtual objects in a natural way.”“In Confluence of Computer Vision and Interactive Graphics
for Augmented Reality“
O que é Realidade aumentada:Informação em 3D
Iluminação dependente da posição do sol (controladopelo usuário).
Motivação: Um exemplo
Motivação: Um exemplo
• O problema
o O cirurgião não pode olhar para a tela e para o paciente ao mesmo tempo
o Olhar para a tela enquanto opera o paciente não é ergonômico
o A tela é 2D, enquanto que o corpo do paciente é 3D
Motivação: Um exemplo
• A Visão
o A informação deve ser mostrada onde ela é necessária
o O usuário deve poder acessar e interagir com a informação de maneira ergonômica
o A informação deve ser apresentada em três dimensões, como o objeto da aplicação
Aplicações
Médica
• The heARt-Project: Cirugia cardíaca minimamente invasiva.
• MIT: Integração de dados de ressonância magnética e de eletroencefalograma para suporte à cirugia cerebral.
Aplicações
Manutenção, reparos e produção
• BMW: The “Intelligent Welding Gun”
• Boeing: “Augmented wiring”
Aplicações
Visualização de dados científicos
• Educação• Studierstube: Construct3D Application
Outras áreas de Atuação• Militar• Entretenimento• Petroquímica
Dificuldades de Implementação• Cálculos para construção da imagem virtual
para o ponto de vista do usuário• Saber a escala e o alinhamento• Realizada em tempo real • Posicionamento o mais preciso possível
CUSTOSO
Solução
• ARToolkit
O que é ARToolkit?• Sistema baseado em tracking (rastreamento)
• Calcula a posição real da câmera e a orientação relativa de um marcador
ARTookit como soluçãoNão exige aquisição de material muito
robusto e caroGratuita Disponibiliza o código-fonte
• Transporte para diversas plataformas • Adapta-se a diversas aplicações• Difundida em meio aos estudantes
Como ARToolkit Ajuda?• Usa algoritmos com conceitos de cálculo
de matrizes (álgebra)• Calcula a posição no espaço real da
câmera e sua orientação em relação à marcadores
• Programador preocupar-se apenas em sobrepor cenários
• Abstração dos cálculos de mapeamento
MarcadoresFiguras geométricasContém símbolos no interiorRastreamento estima:
• Posição• Orientação
Extração de Imagem• Imagem limiarizada (preto e branco)
• Identifica vértices das regiões quadradas• Compara os símbolos com os gabaritos dos
marcadores já cadastrados• Os cálculos são feitos caso haja semelhança
Algoritmo• Baseia-se na posição encontrada e no
tamanho conhecido do padrão• Relaciona as coordenadas por meio de uma
matriz 3x4 (matriz transformação)
• Multiplicação de uma matriz transformação "T" por um ponto 3D no marcador (Xm,Ym,Zm), obtendo o ponto correspondente no sistema de coordenadas da câmera (Xc,Yc,Zc)
Visão Geral
Funcionamento
• Calibração do sistema
• Captura da imagem de entrada o Sequência de imagens da câmera de video
• Busca pelos marcadoreso As imagens capturadas são convertidas para
uma imagem binária para a identificação de padrões (quadrados pretos)
• Cálculo da posição/orientação da câmerao Relativas aos quadrados pretos
Funcionamento• Identificação de marcadores
o Verifica se o símbolo dos marcador casa com algum padrão na memória.
• Inserção de imagens virtuaiso Usando transformações 3D, a imagem é
orientada e posicionada para ser posta no marcador.
• Renderização da imagem finalo A imagem é renderizada em cima do marcador
Calibragem da câmera• É desejável saber os parâmetros da câmera
para posicionar com mais precisão os objetos virtuais sobre a cena real
• Principais propriedades extraídas da calibragem: – distorções de lente, – ponto central da câmera– distância focal da câmera
Calibragem da câmera
ARToolkitFramework
Arquitetura
Arquitetura
• Quatro módulos:
o AR Module: módulo principal com rotinas de rastreamento de marcadores e calibração.
o Video Module: conjunto de rotinas que encapsulam a captura de frames de vídeo padrão
o Gsub Module: conjunto de rotinas gráficas baseadas nas bibliotecas OpenGL e GLUT
Arquitetura
Arquitetura
•Metáfora de pipeline:
o Video -> Tracking -> Display
o Permite fácil troca de módulos
E o quarto módulo?
• Gsub_Lite Module: substitui o Gsub Module com rotinas gráficas mais eficientes e independentes do sistema de janelas
Limitações
• Marcadores necessitam estar sempre (e totalmente) à mostrao Pode limitar o tamanho e movimento dos objetos virtuais
• Orientação do marcador relativa à câmerao Inclinação do marcador reduz precisão
• Tamanho do marcadoro Marcadores maiores = distâncias maiores
Limitações
•Condições de iluminaçãoo Iluminação direta sobre o marcador
pode causar problemas de reconhecimento
•Complexidade do marcadoro Figuras simples e não simétricaso Maior complexidade = Menor alcance
Projetos • The BlackMagic kiosk
• Magic Book
• PyARTK
• Augmented Reality Encyclopedia
• AR Tower Defense
• ARToolkit on Iphone
• E muitos outros...
Dúvidas?