1

TÓPICOS DE INFORMÁTICA AVANÇADA IIRealidade Aumentada

Prof. Mário Dantas

2

O QUE É REALIDADE AUMENTADA?

Uma combinação de uma cena real visualizada por um usuário e uma cena gerada por um computador que aumenta a cena com informações adicionais.

3

OUTRA DEFINIÇÃO

É um sistema que suplementa o mundo real com objetos virtuais gerados por computador, parecendo coexistir no mesmo espaço e apresentando as seguintes propriedades: combina objetos reais e virtuais no ambiente

real;

executa interativamente em tempo real;

alinha objetos reais e virtuais entre si;

aplica-se a todos os sentidos, incluindo audição, tato e força e cheiro (AZUMA, 2001).

4

OBJETIVO

É criar um sistema tal que o utilizador não consiga distinguir o mundo real do virtualmente aumentado.

5

EXEMPLO

6

REALIDADE AUMENTADA X REALIDADE VIRTUAL

A realidade aumentada e a realidade virtual (BIMBER, 2004) podem ser comparadas da seguinte forma: a realidade aumentada enriquece a cena do mundo

real com objetos virtuais, enquanto a realidade virtual é totalmente gerada por computador;

no ambiente de realidade aumentada, o usuário mantém o sentido de presença no mundo real, enquanto que, na realidade virtual, a sensação visual é controlada pelo sistema;

a realidade aumentada precisa de um mecanismo para combinar o real e o virtual, enquanto que a realidade virtual precisa de um mecanismo para integrar o usuário ao mundo virtual.

7

CONTÍNUO DE REALIDADE

Realidade Misturada

Ambiente Real Realidade Aumentada Virtualidade Aumentada Realidade Virtual

8

REALIDADE AUMENTADA X “HOLLYWOOD MOVIES”

Muitos dos efeitos especiais recorrem à composição de imagens reais e virtuais

Mas:Os efeitos especiais são aplicados quadro

a quadro sobre um “produto acabado”.O espectador não pode interagir com o

filme.

Não é Realidade Aumentada

9

UM SISTEMA TÍPICO Tecnologias de Apresentação

Simples monitor; HMD; Um Dispositivo de Captação de Imagem (DCI);

Um Sistema Gráfico para gerar objectos virtuais;

Um Sistema que misture os mundos. Tecnologias de ratreiamento (Tracking)

Sensores Magnéticos; Sensores Ópticos; Sistemas Gráficos; Sistemas Híbridos.

10

MundoReal

COMPONENTES DE UM SISTEMA TÍPICO

CâmaraVirtual

SistemaGráfico

Sistema de Seguimento( Para alinhar a Câmara Virtual

com a Câmara Real )

ObjectoVirtual

ImagemReal

ImagemVirtual

Realidade Aumentada

11

TIPOS DE SISTEMAS DE REALIDADE AUMENTADA

Os sistemas de realidade aumentada podem ser classsificados conforme o tipo de display utilizado (AZUMA, 2001):Sistema de visão ótica direta;Sistema de visão direta por vídeo;Sistema de visão por vídeo baseado em

monitor;Sistema de visão ótica por projeção.

12

SISTEMA DE VISÃO ÓTICA DIRETA

Sistema de visão ótica direta utiliza óculos ou capacetes, com lentes que permitam o recebimento direto da imagem real, ao mesmo tempo em que permitam a projeção de imagens virtuais devidamente ajustadas com a cena real.

13

SISTEMA DE VISÃO ÓTICA DIRETA

14

SISTEMA DE VISÃO ÓTICA DIRETA

SISTEMA DE VISÃO ÓTICA DIRETA

15

SISTEMA DE VISÃO ÓTICA DIRETA

16

17

SISTEMA DE VISÃO DIRETA POR VÍDEO

O sistema de visão direta por vídeo utiliza capacetes com microcâmeras de vídeo acopladas.

A cena real, capturada pela microcâmera, é misturada com os elementos virtuais gerados por computador e apresentadas diretamente nos olhos do usuário, através de pequenos monitores montados no capacete.

18

SISTEMA DE VISÃO DIRETA POR VÍDEO

19

SISTEMA DE VISÃO POR VÍDEO BASEADO EM MONITOR

O sistema de visão por vídeo baseado em monitor utiliza uma webcam para capturar a cena real;

Depois de capturada, a cena real é misturada com os objetos virtuais gerados por computador e apresentada no monitor;

O ponto de vista do usuário normalmente é fixo e depende do posicionamento da webcam.

20

SISTEMA DE VISÃO POR VÍDEO BASEADO EM MONITOR

21

SISTEMA DE VISÃO POR VÍDEO BASEADO EM MONITOR

22

SISTEMA DE VISÃO ÓTICA POR PROJEÇÃO

O sistema de visão ótica por projeção utiliza superfícies do ambiente real, onde são projetadas imagens dos objetos virtuais, cujo conjunto é apresentado ao usuário que o visualiza sem a necessidade de nenhum equipamento auxiliar;

Embora interessante, esse sistema é muito restrito às condições do espaço real, em função da necessidade de superfícies de projeção.

23

SISTEMA DE VISÃO ÓTICA POR PROJEÇÃO

24

TIPOS DE SISTEMAS DE REALIDADE AUMENTADA

Os sistemas de visão direta são apropriados para situações, onde a perda da imagem pode ser perigosa, como é o caso de uma pessoa andando pela rua, dirigindo um carro ou avião;

Para locais fechados, onde o usuário tem controle da situação, o uso da visão por vídeo é adequada e não oferece perigo, pois em caso de perda da imagem, pode-se retirar o capacete com segurança, se for o caso;

O sistema com visão por vídeo é mais barato e mais fácil de ser ajustado.

25

ÓTICO VERSUS VÍDEOÓtico

prós o mundo real é “realmente” observado em tempo real e

directamente pelo olho humano. contras:

é mais difícil controlar os desfasamentos (tempo e espaço) porque só o canal virtual é processado electronicamente.

conclusão: aparentemente mais simples torna-se de utilização mais

limitada; tem sido abandonado em favor do Video.

26

ÓTICO VERSUS VÍDEOVídeo

Prós Podemos compensar o alinhamento e a latência porque

tanto o mundo real (video) como o virtual são processados electronicamente.

contras: O mundo real observado está sempre atrasado em

relação ao mundo real de fato (pelo menos um quadro ou 30 ms).

conclusões: Aparentemente mais complexo é mais controlável; Tem ganho preponderância sobre o Ótico.

27

REALIDADE AUMENTADA - APLICAÇÕES

Navegação em espaços desconhecidos Uma simples “visão de Raios X” Manutenção e reparação Televisão Comércio Militar Projectos de Engenharia Robótica e Telerobótica Medicina

28

REALIDADE AUMENTADANAVEGAÇÃO EM ESPAÇOS DESCONHECIDOS

A imagem virtual pode guiar um bombeiro numa estrutura habitacional desconhecida;

29

REALIDADE AUMENTADAVISÃO DE RAIOS X

A imagem virtual permite ver:A temperatura dos canos;Ou os fios eléctricos; O interior de uma parede;

30

http://www.cs.columbia.edu/graphics/projects/karma

Grupo de Steve Feirner - Columbia University

KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance)

Durante a manutenção duma impressora Laser o utilizador vê como remover tabuleiro de alimentação de papel através da imagem em “fio de arame” gerada por computador.

APLICAÇÕES DE REALIDADE AUMENTADASISTEMAS DE MANUTENÇÃO

31

APLICAÇÕES DE REALIDADE AUMENTADACOMÉRCIO

Decoração de Interiores Superimposição de peças decorativas

virtuais nos interiores reais

Vestuário Experimentar vestidos virtuais e

executar as alterações nesses vestidos

Institutos de Beleza Experimentar cortes de cabelo e

executá-los sobre o modelo virtual

32

REALIDADE AUMENTADA - MILITAR Projeção de informação no cockpit de um

avião.

Sobreposição de imagens virtuais dos alvos no capacete do piloto.

Sobreposição de imagens virtuais (captadas por satélite) do “inimigo” localizado fora do raio de visão no capacete do soldado

SIMNET - sistema distribuído de simulação dos jogos da guerra

33

APLICAÇÕES DE REALIDADE AUMENTADAANOTAÇÃO E VISUALIZAÇÃO EM PROJECTOS DE ENGENHARIA

European Computer-Industry Research Centre (ECRC)

O utilizador aponta para determinada localização e o sistema de RA mostra a respectiva legenda.

34

APLICAÇÕES DE REALIDADE AUMENTADAANOTAÇÃO E VISUALIZAÇÃO EM PROJECTOS DE ENGENHARIA

Em sistemas de vigilância de instalações a imagem das camcorder é por vezes indistinta. O seu realce por wireframe ajuda o operador

35

APLICAÇÕES DE REALIDADE AUMENTADA ROBÓTICA E TELEROBÓTICA

Um operador de telerobótica usa uma imagem visual do espaço de trabalho remoto para conduzir o robô.

O aumento da imagem real com o modelo virtual (wireframe) facilita a visualização da geometria 3d remota.

36

APLICAÇÕES DE REALIDADE AUMENTADA ROBÓTICA E TELEROBÓTICA

O operador testa a operação com a imagem virtual.

E manda executar apenas a sequência de passos completa para obtenção dos resultados desejados.

37

APLICAÇÕES DE REALIDADE AUMENTADA ROBÓTICA E TELEROBÓTICA

38

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projeto sobre Cirurgia Guiada por Imagem

Uma colaboração entre o Laboratório de IA do MIT e o Laboratório de Planeamento Cirúrgico Feminino de Brigham

39

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

40

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projecto sobre Cirurgia Guiada por Imagem

Objetivo: Suportar cirurgia guiada por imagem

Vamos ver:Construção de modelos tridimensionais

A sala de operações

Digitalização por laser

Alinhamento espacial

Visualização da Realidade Aumentada

41

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projecto sobre Cirurgia Guiada por Imagem

Construção de Modelos Tridimensionais

As estruturas anatómicas que aparecem na RM ou na TC são explicitamente extraídas ou segmentadas antes de serem aplicadas no alinhamento de superficie para visualização 3D

42

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projecto sobre Cirurgia Guiada por Imagem

A sala de operações

Braço Articulado

Video camera calibrada por laser

SUN UltraSPARC workstation

Controlador do dispositivo de

seguimento

Dispositivo de seguimento

Digitalizador Laser

Hardware do digitalizador lazer

43

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projecto sobre Cirurgia Guiada por Imagem

Digitalização por lazer

O modelo 3D obtido a partir da RM é alinhado com a posição do paciente na mesa de operações recorrendo a um digitalizador laser

44

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projecto sobre Cirurgia Guiada por Imagem

Alinhamento espacial

O modelo 3D obtido a partir da RM é “projetado” no cérebro do paciente deitado na sala de operações

45

APLICAÇÕES DE REALIDADE AUMENTADAMEDICINA

Projecto sobre Cirurgia Guiada por Imagem

Visualização da realidade Aumentada

“Removendo a pele” do modelo tridimensional obtido a partir da RM o cirurgião passa a dispor de visão de raio X sobre a estrutura interna relativamente à posição da câmera de video

46

APLICAÇÕES DE REALIDADE AUMENTADA NOTAS FINAIS

Várias das aplicações apresentadas dispõem, já de sistemas comerciais em utilização.

As principais dificuldades atuais prendem-se com: A precisão da sincronização espacial e temporal

da imagem virtual com a real. O seguimento do utilizador e de objetos que se

movam na cena real. Os objeto virtuais têm (muitas vezes) uma

aparência demasiado simplista

47

FERRAMENTAS

ARToolKit: Opera através de técnicas de visão computacional,

processamento de imagens e programação; é um software livre implementando pelo Dr. Hirokazu

Kato, na Universidade de Washington.

ARToolKit Plus: A ARToolKitPlus [WAG08] é uma biblioteca baseada na

ARToolKit. Foi desenvolvida pela Graz University Technology e fez parte do projeto Studierstube [SCH96].

48

FERRAMENTAS

ARTag: É um sistema de detecção de marcadores

baseado na biblioteca ARToolKit, consiste em uma biblioteca de padrões, que ao serem colocados em uma superfície plana e visualizados por uma câmera de vídeo ou webcam, podem ser precisamente rastreados.

Dart: É um conjunto de ferramentas que provêem um

desenvolvimento rápido em Realidade Aumentada, e foi desenvolvido pelo GVU Center no Georgia Institute of Technology.

49

FERRAMENTAS

OSGART: Facilita o desenvolvimento de aplicações de

Realidade Aumentada, ela combina as funções de detecção e rastreamento de marcadores do ARToolKit com as funções para construção de modelos virtuais da biblioteca OpenSceneGraph.

50

HIPER-REALIDADE

hiper-realidade é a capacidade tecnológica de combinar realidade virtual, realidade física, inteligência artificial e inteligência humana, integrando-as de forma natural para acesso do usuário (TIFFIN, 2001);

51

REFERÊNCIAS

http://www.realidadeaumentada.com.br/ http://www.realidadevirtual.com.br/