Post on 05-Mar-2020
Realidade Aumentada e Visão Computacional:
Conceitos e Tecnologias
Msc. Antonio Carlos SouzaDoutorando em Ciência da Computação
DMCC/UFBA/UEFS/UnifacsProfessor do Curso de ADS/IFBA
Laboratório de Realidade Aumentada, Jogos digitas e Tv Digital
Visão Computacional
l Visão computacional é a ciência e tecnologia das máquinas que enxergam.
l Construção de sistemas artificiais que obtém informação de imagens ou quaisquer dados multi-dimensionais.
l Exemplos de aplicações:l controle de processos (como robôs industriais ou veículos
autônomos), l detecção de eventos, l organização de informação, l modelagem de objetos ou l ambientes e interação (atrelado a interação homem-
computador).
Visão Computacional
l A visão computacional também pode ser descrita como um complemento da visão biológica.
l Na visão biológica, a percepção visual dos humanos e outros animais é estudada, resultando em modelos em como tais sistemas operam em termos de processos fisiológicos.
l Por outro lado, a visão computacional estuda e descreve sistemas de visão artificial implementados por hardware ou software.
Visão Computacional
l Identificação
l Detecção
l Movimento
Aplicações
Ilustração dos veículos exploradores de MarteUso de duas câmeras
Realidade Aumentada
l Conjunto de técnicas que permitem ao usuário visualizar informações “sintéticas”graficamente imersas no mundo real tridimensional
Realidade Aumentada
Segundo Azuma(2001), um sistema de realidade aumentada suplementa o mundo real com objetos virtuais gerados computacionalmente que coexistem no mesmo espaço que o mundo real.
Azuma ainda adiciona as seguintes propriedades a Realidade Aumentada:
- combina objetos reais e virtuais em um ambiente real
- roda interativamente e em tempo real e - há um alinhamento entre ambos.
Aplicações
l Jogos
Aplicações
l Turismo e localização
Aplicações
l Arquitetura e Planejamento Urbanístico
Aplicações
l Propaganda
Aplicações
l Na medicina
Aplicações
l Na medicina
Aplicações
l Medicina
Visualização por cima da pela
Autobots
l http://www.weareautobots.com/ww/index.phpl A Paramount lançou o site We Are Autobots, que utiliza RA e
tecnologia de reconhecimento de face para transformar qualquer um em Optimus Prime e permitir o controle de um Bumblebeevirtual.
l A ação, para promover o filme “Transformers: A Vingança dos Derrotados”, foi criada pela Picture Production Company em parceria com a Total Immersion. A parte chata é que o site exige a instalação de plugin.
l Vale lembrar que a Paramount também brincou com realidade aumentada em uma ação para “Star Trek”, o Experience TheEnterprise.
Big Brother
l http://bbb.globo.com/BBB10/Noticias/0,,MUL1507068-17402,00-BROTHERS+BRINCAM+COM+REALIDADE+AUMENTADA+PARA+DISPUTAREM+O+ANJO.html
TRIP com RA
l A revista Trip, em sua última edição, publicou uma ação de RA que permite ver as modelos da revista em 360º usando o marcador com a sua marca.
l http://revistatrip.uol.com.br/ra/index.php
Tenda
l Com o objetivo de oferecer uma experiência completamente nova e diferenciada de conhecer o seu próximo imóvel, a TENDA inova utilizando uma ferramenta chamada Realidade aumentada, já muito usada no Japão e nos Estados Unidos.
l Ao aproximar um símbolo impresso na câmera do seu computador, de um anúncio ou folheto, efeitos especiais ou imagens tridimensionais aparecem na tela.
l Como a maquete e o ambiente de um apartamento da Tenda por exemplo. Você terá uma noção bem próxima do real da arquitetura, infraestrutura, espaço interior e possibilidades de decoração.
l http://www.tenda.com/ra/
l Video See Through
l Optical See Through
Ferramentas e Bibliotecas
l ARTOOLKIT
l ARTOOLKIT PLUS –http://studierstube,icg.tugraz.ac.at/handheld_ar/artoolkitplus.php
l - ARTAG – http://www.artag.net
l DART – www.gvu.gatech.edu/dart
l OSGART- www.osgart.org
l Biblioteca multiplataforma (Windows, Linux, Mac OS X, SGI)
l Sobrepõe marcadores reais por objetos virtuais 3D
l Marcadores extensíveisl Simples algoritmo de calibraçãol Biblioteca gráfica baseada no GLUTl Renderização baseada em OpenGLl Suportado, também, para Java e Matlabl OpenSource (Licença GPL para uso não
comercial)Fonte: http://www.hitl.washington.edu/artoolkit/
Alinhamento
l Necessita conhecimento dos parâmetros da câmeral Calibração
l Modelo de iluminação
l Localização do ponto de inserção
Calibração
l Resolver um sistema para determinar os parâmetros da câmeral Determinação de pontos conhecidos
l Padrão de referência
Calibração
l Múltiplos planos
Alinhamento
l Colocar os objetos sintéticos na cenal Posição
l Escala
l Orientação
l Iluminação
Alinhamento
Dentro desse contexto,
Seguem alguns problemas e aplicações :- SAR (SPATIAL AUGMENTED REALITY )- Rastreamento óptico e captura de movimento- Percepção facial- Aplicações móveis- Latência- AutoCalibração- Games- RA colaborativa- Nanomanipulação- GPU
SPATIAL AUGMENTED REALITY (SAR)
SAR
n Um sistema de visualização baseado em projetor pode simplesmente incorporar mais projetores para expandir a área da tela.
n HTTPS://garanhuns.cin.ufpe.br/selecpos2010/data//Veronica%20Teichrieb_593.pdf
Augmented Illumination
Covers: Projector-Based Augmented Reality, Realistic Rendering, Pixel-Shading, Global and Local Shading, Immersive and Semi-Immersive Augmented and Virtual Environments
Short AbstractSimulation of global and local shading effects in real environments
via projector-based augmentation for architectural applications. Surface reflectance and geometry have to be taken into account. Influence of physical light sources (projectors and environment light) has to be neutralized. Synthetic lighting (e.g., from virtual windows or artificial light sources) have to be generated and real surfaces (global and local).
Fonte: Siggraph 2007/2006
RASTREAMENTO ÓPTICOSensores
Rastreamento Óptico
O rastreamento óptico é útil para sistemas de Realidade Virtual e Aumentada, pois objetos rastreados servem como dispositivos de interação em cenas 3D.
Representações de objetos reais são construídas com o rastreamento de suas projeções sobre uma matriz de fotossensores. As câmeras têm a vantagem de não exigir contato mecânico para o rastreamento, porém sua aplicação de maneira efetiva requer o conhecimento dos parâmetros e variáveis envolvidas em um processo de rastreamento.
Fonte: - International Survey : Virtual Environment Research de Duane
Boman - 1995- SIGGRAPH 2007- Tracking Requirements for Augmented Reality de Ronald Azuma –
1995.
CAPTURA DE MOVIMENTOSSensores
•Este trabalho aborda as principais tecnologias de Captura de Movimentos e suas características, os dispositivos utilizados na Realidade Aumentada, as características da biblioteca ARToolkit e algumas das aplicações desenvolvidas com esta ferramenta. •Também é apresentada a estruturação e implementação de um sistema de Captura de Movimentos de baixo custo baseado na biblioteca ARToolkit, utilizando um esqueleto hierarquizado.
GIOVANINI, Fernando Lopes. Um Sistema Óptico de Captura deMovimentos Baseado em Esqueleto Hierárquico Utilizando a BibliotecaARToolkit. 2007. 127 f. Dissertação (Mestrado em Ciência da Computação) –Centro Universitário Eurípides de Marília, Fundação de Ensino Eurípides Soaresda Rocha, Marília, 2007.
Captura de Movimentos Baseado em Esqueleto Hierárquico
REALIDADE AUMENTADA COLABORATIVA
Collaborative Augmented Reality
Na conferência da IEEE ocorrida em março de 2008 sobre RV
l http://conferences.computer.org/vr/2008/prelim/misc/ieee_vr08_program.pdf ,
um dos simpósios foi sobre:
l Studies on the Effectiveness of Virtual Pointers in Collaborative Augmented Reality por Jeff Chastine e Kristine Nagel
RA PARA NANOMANIPULAÇÃO
Li, Guangyong. Development of Augmented Reality System for AFM-Based Nanomanipulation, IEEE 2004.
Manipulação de nano-componentes com Realidade Aumentada
GAMES E RA
GAMES e RA
l Jogo da Velhal Batalha Navall Ninjal Quake
Fonte
l Claudio Kirner, Member, IEEE, Ezequiel R. Zorzal, Tereza G. Kirner
l Brazil
l 2006 IEEE International Conference on
Systems, Man, and Cybernetics
October 8-11, 2006, Taipei, Taiwan
INTERFACES PARA RA
Dispositivos para RA
l Dispositivo de Rastreamentol Capacetel CAVEl Datasuit – sensores e atuadoresl Data Glove – sensores de movimentos da mãol ProjetoresFonte: http://www.niee.ufrgs.br/cursos/topicos-
ie/claudia/interface/interface.html
Proposta para Dissertação de Mestrado — MIEET 2007/2008
l O objetivo deste trabalho é melhorar as potencialidades do ambiente de RV/RA desenvolvendo novos dispositivos de interacção, eventuamente sem fios, e criando/adaptando aplicações para tirar partido desses mesmos dispositivos.
Fonte
http://www.av.it.pt/mi/docs/25.pdf
Temas para dissertação do DETI - Departamento de Electrónica, Telecomunicações e InformáticaUniversidade de Aveiro
l Orientador: Arnaldo Oliveira l Co-orientador: Paulo Dias l Colaborador: Beatriz Sousa Santos
l Portugal
USABILIDADE EM RA
“Estudos de Usabilidadeem Sistemas de Realidade Virtual e Aumentada”
O trabalho a realizar implica a concepção, desenvolvimento do software necessário e realização de um conjunto de experiências que permita perceber se em determinadas condições a utilização dos sistemas de realidade virtual e aumentada é ou não uma mais valia para a realização de tarefas úteis em cenários reais.
Estas experiências deverão comparar estes sistemas com outro tipo de plataformas (por exemplo um desktop tradicional) e poderão basear-se em jogos especificamente desenvolvidos para o efeito.
Fonte
l Temas para dissertação do DETI -Departamento de Electrónica, Telecomunicações e InformáticaUniversidade de Aveiro
l http://www.av.it.pt/mi/docs/68.pdf
l Orientador: Paulo Dias
GPU E RA
High Performance Computing with CUDANvidial International Supercomputing Conference 2008
Dresden, GermanyInternational Congress Center DresdenConference Room 6, Level 4Monday June 16, 2008, 9:00am to 5:00pmPresenters: Massimiliano Fatica (NVIDIA), Mark Harris (NVIDIA, to be confirmed), Patrick LeGresley (NVIDIA), Jim Phillips (UIUC)
l Note: This event is being held before ISC begins and as such is not affiliated with the ISC conference. Attendees do not need to register for the conference.
l NVIDIA® CUDA™ is a general purpose scalable parallel programming model for writing highly parallel applications. It provides several key abstractions – a hierarchy of thread blocks, shared memory, and barrier synchronization. This model has proven quite successful at programming multi-threaded many-core GPUs and scales transparently to hundreds of cores. Scientists throughout the industry and academia are already using CUDA to achieve dramatic speedups on production and research codes (see www.gpucomputing.org for a list of codes, academic papers and commercial packages based on CUDA). And with an upcoming version of CUDA, a new compiler backend extends CUDA to multi-core CPUs.
http://www.nvidia.com/object/io_1209386593154.html
GPGPU BASED IMAGE SEGMENTATION LIVEWIRE ALGORITHM IMPLEMENTATIONEsta tese apresenta a implementação do algoritmo de segmentação de
imagens Livewire em uma placa de vídeo, que é uma arquitetura Single Instruction Multiple Data(SIMD), ao invés da utilização tradicional da CPU. O algoritmo é dividido em três fases: aplicação do filtro Sobel ou Laplaciano sobre a imagem, seguido de modelagem da mesma através de grafos do tipo grid e posterior resolução do menor caminho a partir de um dado nó.
Para tal cálculo uma abordagem paralela feita através do desenvolvimento de uma versão adaptada do algoritmo ∆-steppingpara placas de vídeo. Cada uma das partes do algoritmo foi transformada em um núcleo que é executado e compilado na própria placa de vídeo, utilizando-se a arquitetura CUDA (Compute Unified Device Architecture) disponível na série 8 da NVidiaGeForce.
GPGPU
As placas de vídeo são os primeiros dispositivos SIMD amplamente disponíveis em diversos computadores. Embora originalmente desenvolvidos para aplicações de renderização, pesquisadores da área de GPGPU (General Purpose Computing on GraphicProcessing Units) têm demonstrado que o imenso poder computacional destes dispositivos e a sua recente capacidade de programação fazem deles uma alternativa atrativa como plataforma de alta-performance.
A implementação foi focada na arquitetura CUDA, mas diversas outras abordagens são comentadas e referenciadas mostrando grande parte das alternativas disponíveis, como outras plataformas - CPUscom multicore, processador Cell -, outras APIs gráficas como Cg e OpenGL, ou mesmo abordagens que deixam transparente o uso de GPUs, como RapidMind e Brook.
GPGPUA conclusão coloca em evidência o sucesso da implementação do
algoritmo para a plataforma de GPUs ressaltando os aspectos positivos e negativos da abordagem utilizada. Uma análise crítica dos resultados demonstra que o processamento de imagens através de filtros tem grande ganho de desempenho com relação a uma CPU, no entanto, devido a muitos acessos à memória do dispositivo, o algoritmo ∆-stepping não mostrou performance superior em tal arquitetura com os tamanhos de grafos testados, apontando uma maior melhora quanto maior o tamanho do grafo.
Uma menor demora no acesso à memória local ou mesmo um maior número de threads poderiam aumentar muito a performance do algoritmo. Além da demonstração de viabilidade de implementação do algoritmo, esta tese contribui disponibilizando uma aplicação open-source de segmentação de imagens através da GPU (em http://code.google.com/p/gpuwire/), servindo como base para futuras implementações na mesma arquitetura.
Fonte
l http://code.google.com/p/gpuwire/
l gpuwire.googlecode.com/files/Defesa.pdf
High Perfomance Computing: CUDA as a Supporting Technology for Next Generation Augmented Reality Applications
The main purpose of this minicourse is presenting the potential of GPGPU (General Purpose Graphics Processing Unit) technology for real time markerlessaugmented reality related processing. CUDA (Compute Unified Device Architecture) is a GPGPU technology that allows programmers to use the C programming language to code algorithms for execution on the GPU.
Fonte
l X Symposium on Virtual and Augmented Reality - UFPB - João Pessoa/PB
l Authors: Thiago Farias, João M. Teixeira, Pedro Leite, Gabriel Almeida, Veronica Teichrieb, Judith Kelner (Virtual Reality and Multimedia Research Group, Computer Science Center, Federal University of Pernambuco)
CALIBRATION AND AUTOCALIBRATION
AutoCalibration
AR systems generally require extensive calibration to produce accurate registration. Measurements may include camera parameters, field of view, sensor offsets, object locations, distortions, and so forth.
The AR community uses well-established basic principles of camera calibration and developed many manual AR calibration techniques. One way to avoid a calibration step is to develop calibration-free renderers. Since Kutulakos and Vallino introduced their approach of calibration-free AR based on a weak perspective projection model.
Seo and Hong have extended it to cover perspective projection, supportingtraditional illumination techniques. Another example obtains the camera focal length without an explicit metric calibration step.
The other way to reduce calibration requirements is autocalibration. Such algorithms use redundant sensor information to automatically measure and compensate for changing calibration parameters.
Fonte
l Recent Advances in Augmented Reality
l Azuma et al.
l IEEE, 2001
RA NA EDUCAÇÃO
RA e educação
A realidade virtual e aumentada têm potencial para dar uma sensação completa de realismo a um problema, colocando o estudante numa visão de mundo tridimensional e permitindo o uso do toque, da visão e da audição. Um visor permite ao estudante entender mais facilmente os princípios da química, da física, da matemática e outras ciências, sendo capaz de ver simulações ampliadas de processos reais, com interatividade completa, da mesma maneira como muitas das visualizações científicas são feitas hoje.
Fonte:http://www.niee.ufrgs.br/cursos/topicos-
ie/claudia/rv_e_educacao/rv_e_educacao.html
RA NOS ESPORTES
Projeto Vencedores do Concurso Idéias Inovadoras 2009
Projetol Desenvolvimento de uma ferramenta para visualização de
dados médicos, como exames ou próteses, compostos com a imagem em tempo real do paciente, voltado para a área de bioengenharia craniofacial. Tal sistema deve ser capaz de:
l identificar a face do paciente em um fluxo de vídeo;
l compor, em tempo real, os dados médicos a serem analisados a esse fluxo de vídeo;
l acompanhar os movimentos do paciente mantendo consistente a composição do fluxo de vídeo e dos dados médicos.
Bioengenharia Craniofacial
l Analise do problema
Imagens Médicas
l Tomografia Computadorizadal Baseada em raio Xl Menor emissãol Maior resolução
l Múltiplas imagens
Imagens Médicas
l Ressonância Magnétical Múltiplas imagens
l Não há emissão de radiação
l Alta resolução
Reconstrução 3D
l Geração de modelos 3D
Reconstrução 3D
Bioengenharia Craniofacial
l Planejamento Cirúrgico
Bioengenharia Craniofacial
l Previsão de resultados
Bioengenharia Craniofacial
l Vídeos
Bioengenharia Craniofacial
l Vídeos
Como facilitar isso?
l Uma tecnologia que permita compor as imagens do paciente, capturadas por câmeras de vídeo em tempo real, com objetos virtuais como imagens médicas (RMI, CT) ou gerados por modelagem geométrica (modelo de prótese).
l Os movimentos do paciente devem ser considerado para o correto alinhamento e composição das imagens virtuais juntamente com as imagens reais.
l Em outra vertente: as interfaces(Computação Ubíqua)
Visão Estereo
l Mapa de Profundidadel Trucco e Verri - 1998
Modificação do código fonte do ARTOOLKIT para utilizar a GPU
l Mostrar o que já foi feito...
Conclusão
l As técnicas de Realidade Aumentada tem vasto campo explorável, principalmente se combinada com as técnicas de Visão Computacional.
l Temos diversos desafios como latência temporal e espacial, calibração, iluminação.
Referencias Bibliográficasl [3] Projeto Rede de Cooperação para Análise de Dados e Modelagem
Computacional em Bioengenharia Craniofacial. Coordenador: GilsonGiraldi. Dezembro de 2007.
l [10] Ronald Azuma, Y. Billot, R. Behringer, S. Feiner, S. Julier, and B. MacIntyre. 2001. “Recent Advances in Augmented Reality”. Computer Graphics and Applications, v.21, n.6, pp. 34-47. 2001.
l [11] Rodrigo Luis de Souza Silva. “Um Modelo de Redes Bayesianas Aplicado a Sistemas de Realidade Aumentada”. PhD thesis sob orientação de Luiz Landau e Gilson Giraldi, COPPE/Universidade Federal do Rio de Janeiro. Rio de Janeiro, 2006.
l [12] Anton Fuhrmann, Gerd Hesina, François Faure, and Michael Gervautz. “Occlusion in collaborative augmented environments”. Proceedings of the 5th EUROGRAPHICS Workshop on Virtual Environments (EGVE 1999), v.23, n.6, pp. 809-819., Vienna, June 1-2, 1999.
l [15] Thomas Pintaric. “DSVideoLib”, http://sourceforge.net/projects/dsvideolib, (visitada em 20/11/2009). 2003.
l [16] Trucco, E. and Verri, A. 1998. Introductory Techniques for 3d Computer Vision. Prentice-Hall, 3th Edition.
Referencias Bibliográficas
l [36] G. Coulouris, J. Dollimore, and T. Kindberg. “Distributed Systems: Concepts and Design” – 3rd. Edition. Addison-Wesley, 2001.
l [37] M. A. Fischler and R. C. Bolles. “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography”. Communications of the ACM, 24(6):381–395. 1981.
l [38] R. Silva, G. Giraldi, P.S. Rodrigues, G. Cunha. “A Bayesian Network Model for Augmented Reality Applications”, Revista de Informática Teórica e Aplicada (RITA), ISSN 0103-4308, v. 14(1), p. 69-84 - 2007.
l [39] R. Silva, G. Giraldi, P.S. Rodrigues, G. Cunha. “Object Recognition and Tracking using Bayesian Networks for Augmented Reality Systems”, 9th International Conference on Information Visualisation, p. 430-435 – Londres – Inglaterra –2005.