SEL 5710 - Arquiteturas para processamento e visualização de imagens digitais.

LUVAS PARA REALIDADE VIRTUAL(VR GLOVES)

Lilian Saldanha MarroniPaulo Aneas Lichti

Professora: Maria Stela V. de Paiva

Um breve histórico da realidade virtual

A Realidade Virtual começou na indústria de simulação, com os simuladores de vôo que a Força Aérea dos Estados Unidos passou a construir depois da Segunda Guerra Mundial. Em 1975 Krueger criou o VIDEOPLACE, onde uma câmera de vídeo capturava a imagem dos participantes e projetava-a em 2D numa grande tela

Histórico

Em 1982, Thomas Furness demonstrava para a Força Aérea Americana o VCASS (Visually Coupled Airborne Systems Simulator), conhecido como “Super Cockpit” - um simulador que imitava a cabine de um avião através do uso de computadores e videocapacetes interligados representando um espaço gráfico 3D

Histórico

Thomas Zimmerman e Jaron Lanier fundam em 1985 a VPL Research tendo como primeiro produto uma luva de dados, chamada DataGlove No final de 1986 a equipe da NASA já possuía um ambiente virtual que permitia aos usuários ordenar comandos pela voz, escutar fala sintetizada e som 3D, e manipular objetos virtuais diretamente através do movimento das mãos

Histórico

Em 1989 a AutoDesk apresentava o primeiro sistema de Realidade Virtual baseado em PC Na década de 90, um grande avança aplicações desenvolveram-se, principalmente aquelas voltadas para ambientes de imersão, envolvendo desde tratamentos e treinamentos até simulações sofisticadas nos campos da engenharia, medicina e combates e vôos simulados, além de jogos com alta sensação de realidade para entretenimento.

O que é Realidade Virtual

“Virtual Reality is the place where humans and computers make contact”. “Virtual Reality involves the creation and experience of environments” Realidade Virtual refere-se a uma experiência imersiva e interativa baseada em imagens gráficas 3D geradas em tempo-real por computador

Formas de RV

RV de Simulação, RV de Projeção, Augmented Reality (Realidade Realçada), Telepresença, Visually Coupled Displays (“Displays Visualmente Casados”) e RV de Mesa.

Espaço Cibernético

Espaço Cibernético (cyberspace) foi o termo utilizado por William Gibson em seu livro Neuromancer para designar “uma representação gráfica de dados abstraídos dos bancos de dados de todos os computadores do sistema humano Espaço Cibernético é uma simulação 4D do espaço-tempo controlada pela interface de RV; é um espaço imaginário.

Estereoscopia

As imagens estereoscópicas parecem flutuar no espaço diante da superfície na qual estão apresentadas Em Realidade Virtual, a visão estereoscópica é um importante fator na determinação do nível de imersão do sistema

Graus de Liberdade

Os graus de liberdade determinam flexibilidade de movimentação e/ou observação de algo Grande parte dos sistemas de RV utilizam dispositivos de entrada de dados que permitem movimentos de até 6DOF, proporcionando uma maior sensação de imersão no mundo virtual

Som 3D

Som binaural, o som 3D tem o objetivo de proporcionar uma sensação de imersão Engenheiro de gravação “posiciona” os sons no espaço, controlando sua direção, distância e profundidade Enganar o cérebro visto que num sistema perfeito de som 3D não é possível diferenciar realidade e simulação: o som pode vir de toda e qualquer direção

Dispositivos de Saída de Dados

Dispositivos Visuais Videocapacetes Head-Coupled DisplayMonitores e Sistemas de Projeção Dispositivos Auditivos Dispositivos Físicos

Dispositivos Físicos

Feedback tátil Feedback de força Feedback térmicoPlataformas móveis

Dispositivos de Entrada de Dados

Os dispositivos de entrada de dados, por outro lado, permitem a movimentação e interação do usuário com o mundo virtual

Dispositivos de Interação

Luvas de dados Para a determinação dos movimentos dos dedos são utilizados na maioria dos projetos sensores mecânicos ou de fibra ótica O uso de luvas de dados ajuda a aumentar a sensação de presença no mundo virtual

Dispositivos com nDOF

Os dispositivos de interação com 6DOF permitem uma movimentação bastante ampla quando utilizados em sistemas de RV Algumas empresas procuram modificar o projeto do mouse padrão para que este possa funcionar com sensores de trajetória de 6DOF ou 3DOF Esses mouses (o plural correto seria mice) passam então a utilizar dispositivos de rastreamento ultrassônicos ou eletromagnéticos

Sensores de Entrada Biológicos

Sensores de entrada biológicos processam atividades chamadas de indiretas, como comando de voz e sinais elétricos musculares Dispositivos que utilizam sinais elétricos musculares são utilizados para, através de eletrodos colocados sobre a pele, detectar a atividade muscular, permitindo ao usuário movimentar-se pelo mundo virtual

Dispositivos de Trajetória

Dispositivos de interação mencionados acima contam com um dispositivo responsável pela tarefa de detecção ou rastreamento da trajetóriaOs dispositivos de trajetória trabalham baseados na diferença de posição ou orientação em relação a um ponto ou estado de referência A maioria das aplicações que utilizam detecção de trajetória fazem uso de pequenos sensores colocados sobre as partes do corpo ou sobre o objeto (se for o caso), técnica conhecida como tracking ativo

Trajetória

Como alternativa, o tracking passivo utiliza câmeras ou sensores óticos ou de inércia para “observar” o objeto e determinar sua posição e orientação. Diferente dos dispositivos que utilizam tracking ativo, os dispositivos de tracking passivo utilizam apenas um sensor para rastrear o objeto.

Trajetória e Luvas

Como exemplo, para o desenvolvimento de luvas de dados existem três tecnologias predominantes no que diz respeito à localização da mão no espaço e orientação da palma da mão. A primeira baseia-se no uso de câmeras para monitorar a luva a uma certa distância (tracking passivo), a segunda trabalha com a radiação de pulsos magnéticos emitidos pela luva (tracking ativo), e a terceira baseia-se na acústica (tracking ativo), onde dispositivos ultrassônicos transmitem a posição da mão

Ferramentas para Criação da RV

Cyberspace Development Kit REND386 VREAM WalkThrough VRML

1. DATA GLOVE

Características: Confortável

Produzida em lycra Arquitetura aberta

Tamanho únicoCalibração para cada usuário

Simulação de um mouse Modelos para a mão

esquerda e direita

Drivers para programas de VR

8 bits de resolução de conversão

Sensor interno de inclinação Alta taxa de atualização Software embutido

Processador on-board Baixa flutuação

Especificações

Interface RS-232 (19.2 kbaud) Um sensor de fibra ótica por dedo Fonte de alimentação de 9V DC, 200 mA Sensores internos com ângulos 60º Taxa de atualização máxima por dedo: 200 Hz Resolução de conversão: 12 bits A/D

Software

Programa em C++ para DOS Programa instrumental chamado KineMusica (piano virtual,

trompete, corneta e bateria) Simulação de um mouse Bibliotecas API pra Windows (3x, 95 e NT) Programa demoDrivers para DOS de 16 e 32 bitsDDL de 32 bits para WindowsDrivers para programas de VR (WorldToolKit for Win,

MindRender, Amber, Superscape, XVS-SyncLink, VRCreator)

5 DT Data Glove 5 / 5 DT Data Glove 5-W

5DT Data Glove 16 / 5DT Data Glove 16-W

5DT Data Glove MRI

CyberGlove

Especificações

Feita de 80% e nylon e 20% de lycraTamanho únicoCalibração para cada usuárioInterface RS - 232Taxa de atualização na faixa de 100 Hz (para 18 sensores operando a 38,4 kbaud e 150 Hz a 115.2 kbaud)Resolução do Sensor: 0.

modelo de 18 sensores: com dois sensores em cada dedo, quatro sensores abductions, sensores plus de medição do polegar, arco da palma, flexão e abduction do pulso.

modelo de 22 sensores: acrescido de um terceiro sensor por dedo para medir a flexão da articulação nos quatro dedos.

O Sistema

O sistema básico inclui:•CyberGlove•sua unidade de instrumentação•um cabo serial para conecção com o host do computador•uma versão executável do software VirtualHand Silicon GraphicsObs: possui chaves e LEDs (ligados no pulso) programáveis por software para fornecer ao usuário da luva capacidade adicional de entradas e saídas.

Dexterous Hand Master (DHM)

Especificações

Taxa de amostragem: até 100Hz Interface: RS - 422 (para taxa de amostragem

de 100 Hz) Software RS-232 para IBM, VME, Apple Mac

com no mínimo 64 Kb de memória Faixa de temperatura: 10º a 25º

Power Glove

Especificações

Fabricada em 1989 como um controlador para Nintendo Home Vídeo Games pela Companhia de Brinquedo Mattel Devido a seu baixo preço, foi amplamente usada em pesquisa (Aukstakalnis e Blatner, 1992) Feita de lycraExige recalibração para cada usuárioNão é confortável nem precisaHá aproximadamente 3 anos não é mais produzida (somente sob encomenda)

PINCH GLOVE

Especificações

Não é necessário calibraçãoTamanho únicoFeita de strechInterface RS-232Não mede o ângulo das articulações dos dedosTaxa de amostragem menor que 1 msec

TCAS GLOVE

8 sensores: mede o ângulo da articulação do dedo PIP, dos polegares e o movimento da palma11 sensores: como o de oito, acrescido do ângulo da articulação do dedo MCP, flexão do pulso e movimentos de abduction16 sensores: ângulo de todos os dedos, articulação do polegar e movimento do pulso.

MODELO PESO (g) FABRIC. PREÇO (US)

5 DT 350 Fift Dimension Technologies

$ 495 (D)$ 535 (E)

CYBER 84,9 Virtual Technologies, Inc.

$ 9.800 (18)$ 14.500 (22)

DMH 424,5 Exos, Inc. $ 11.700 (Sist)

PINCH 19,81 Fakespace, Inc.$ 2.000 (Sist)$ 100 (Un)

TCAS - T.C.A.S. Effects Ltda. $ 7.000

APLICAÇÕES

Visualização Científica

Investigação do caminho do vento em uma simulação de furacão.(NASA Goddard Laboratory for Atmospheres)

Visualização de distribuição de metanono globo. (ESS Investigator Peter Lyster/University of Maryland)

Aplicação industrial (CAD)Simulação de vôo

Teste da aeronave Joint Strike Fighter (JSF) em Seattle

Escola de Engenharia Mecânicae de Materiais da Universidade de Washington e Divisão de Manufatura e Integração de Sistemas doInstituto Nacional de Padrões e Tecnologia

Ensino de sinais

Universidade Politécnica de Hagenberg (Áustria)Departamento de Tecnologia de Mídia e Design –Captura de gestos e sinais e visualização através de animações 3D em tempo-real.

Outras aplicações

Simulação de combatesTerapias anti-fobiaSimulações em EngenhariaTreinamento de CirurgiõesTreinamento de pilotos, astronautas, etc.

Bibliografia

        Gibson, W. Neuromancer. New York, ACE Books, 1984.         Gradecki, J. Kit de montagem da realidade virtual. São Paulo,

Berkeley, 1994.         Hodges, L.F. et al. Virtual environments for treating the fear of

heights. IEEE Computer, (7):27-34, July 1995.         Isdale, J. What is virtual reality? A homebrew introduction and

information resource list (Isdale Engineering). s.l. Version 2.1, 1993. Obtido pela Internet via ftp em sunee.uwaterloo.ca .

        Jacobson, L. Realidade virtual em casa. Rio de Janeiro, Berkeley, 1994.

        Latta, J.N.; Oberg, D.J. A conceptual virtual reality model. IEEE Computer Graphics &Applications, 14(1): 23-29, Jan. 1994.

Bibliografia

        Machover, C.; Tice, S.E. Virtual reality. IEEE Computer Graphics &Applications, 14(1):15-16, Jan. 1994.

        Mahoney, D.P. High expectations for virtual therapy. Computer Graphics World, (9):14-16, Sep. 1994.

        Pimentel, K.; Teixeira, K. Virtual reality - through the new looking glass. 2.ed. New York, McGraw-Hill, 1995.

        Rheingold, H. Virtual reality. New York, Touchstone, 1991.         Schweber, L; Schweber, E. Realidade virtual. PC Magazine Brasil

5(6):50-72, Jun. 1995.         Sturman, D.J.; Zeltzer, D. A survey of glove-based input. IEEE

Computer Graphics &Applications, 14(1):30-39, Jan. 1994. Vince, J. Virtual reality systems. Cambridge, Addison-Wesley, 1995.

Bibliografia

        Virtual reality. Computer Graphics World, s.d. Reprinted from a series of articles from Computer Graphics World. PennWell Publishing Company. Woolley, B. Virtual worlds. Oxford, BlackWell, 1992

Sites úteis

http://www.realidavevirtual.com.brhttp://www.lsi.usp.br/~rvhttp://www.hitl.washington.edu/scivw/IDAhttp://www.dei.unip.it/~cruzzolin/Glove.htmhttp://www.isdale.com/jerry/VR/WhatIsVR/noframes/WhatisVR4.1-VR.htmlhttp://www2.cs.utah/classes/cs6360/Nahvi/haptic.html#nmpg