SVR2003 Minicurso VAD - lsi.usp.brpbressan/artigos/SVR2003_Minicurso_VAD_handouts.pdf ·...

1

Visualização de Alto Desempenhoutilizando equipamentos convencionais

SVR 2003

VI Simposium on Virtual Reality

Minicurso

22 de outubro de 2003 SVR 2003 - Visualização de Alto Desempenho 2

Autores

Paulo A. Bressan, Marcelo P. Guimarães, Luciano P. Soares, Marcio C. Cabral, Celso Kurashima, Glauco Todesco e Marcelo K. Zuffo

Laboratório de Sistemas Integráveis

Escola Politécnica da USP – Brasil

Juan E. J. Monsalve e Helmuth T. GomezLaboratorio de Realidad Virtual

Universidad EAFIT – Colombia


Estrutura

IntroduçãoAglomerados Gráficos de Computadores

Visualização Paralela

Visualização Volumétrica

Visualização Baseada em Imagens

Visualização Geométrica

Visualização Colaborativa


Introdução

Apresentação

Objetivos

Motivação

Relevância

Desafio


Apresentação

Visualização denomina o processo de extrair informações de um problema por meio de simulações computacionais.

A ênfase é utilizar os recursos de computação para facilitar o entendimento de informações.

Os conceitos e ferramentas de visualização possuem grande interação com outras disciplinas.

Apresentação Objetivos Motivação Relevância Desafio


ApresentaçãoFatores humanos de percepção oferecem uma base científica para entender o desempenho visual humano.

Especialistas em computação gráfica oferecem algoritmos e ferramentas que transformam valores numéricos em figuras.

Artistas e projetistas gráficos aumentam a interpretabilidade de representações visuais através de conhecimentos de estética.

Cientistas formulam questões para a exploração visual de dados científicos.


2


Apresentação

O desejo por conhecimento tem levado o ser humano a se confrontar com problemas cada vez maiores e cada vez mais complexos:

os dados excedem a capacidade de processamento

os dados excedem a capacidade de armazenamento

o processamento é orientado à visualização interativa de tempo-real



ApresentaçãoComputação de Alto Desempenho consiste em uma linha de pesquisa que procura solucionar problemas que necessitam de grande poder computacional, e inclui:

Computação Paralela

Processamento Paralelo Massivo

Computação Distribuída

Super-Computação

Aglomerado de Computadores

Visualização de Alto Desempenho estuda técnicas de alto desempenho para visualização de dados que demandem grande poder computacional.



ApresentaçãoInfelizmente, devido à complexidade e atualidade

do assunto, não será apresentado qualquer tipo de modelo de avaliação de desempenho.

Em computação gráfica, normalmente a avaliação é feita em termos de quadros por segundo e resolução das imagens geradas.

Mas o desempenho pode variar bastante em função de outros fatores, como: tipo de dado, modelo de iluminação, algoritmo de renderização, dentre outros.



Objetivos

“Apresentar os principais conceitos, métodos e características de visualização paralela e o seu relacionamento com aglomerados de computadores.”







MotivaçãoVisualização Volumétrica

Bases de dados grandes são resultados de simulações de larga escala.

Tomografias computadorizadas resultam em 50 Gbytes.

Dezenas de terabytes são

encontradas para

análise na prospecção

de petróleo.



Motivação

Realidade Virtual (RV)oferece uma interface mais realista para as aplicações

o usuário deixa de ser mero espectador e passa a ser parte integrante do ambiente

permanece envolvido pelo ambiente virtual imersivo

Com a disponibilidade de equipamentos de baixo custo, a RV está sendo amplamente disseminada em áreas como: entretenimento, engenharia, medicina, cultura e ciências básicas.


3


Motivação

Missão crítica em RVsimuladores de vôo

simuladores cirúrgicos

simuladores de combate

simuladores aeroespaciais



MotivaçãoUniversos Paralelos baseados em abstrações físicas, biológicas e matemáticas

simulação de universos inacessíveis

simulação do macrocosmo em astrofísica

simulação do microcosmo em biologia molecular



MotivaçãoPrototipagem digital



Motivação

Visualização Científicadescoberta e entendimento

comunicação e ensino

suporte à tomada de decisão



Relevância

Soluções existentesequipamentos não-convencionais

custosos

não-escaláveis

Soluções em equipamentos de baixo-custoperdem em tempo-real

interatividade

complexidade dos algoritmos

Aglomerados de computadores possuem hierarquias de memória ineficientes.



RelevânciaLevemente diferente da hierarquia de memória

clássica, esta hierarquia possue uma camada de memória gráfica das placas gráficas de renderização e aceleração.


Disco Remoto escalável

Disco Rígido Local até 100 GBytes

Memória Local 1 GByte

Memória Cache 512 Mbytes

(L1, L2 e L3)

Memória Gráfica

128 MBytes

4


Desafio

“Renderizar imagens no menor tempo com a maior resolução utilizando somente equipamentos e programas de fácil aquisição (convencional).”

Variedade de técnicas devido à diversidade de problemas existentes em Computação Gráfica.



Desafio

O conceito convencional atribui ao objeto referenciado a característica de facilidade de aquisição, devido à custo, usabilidade ou disponibilidade no mercado.

Hardwares convencionais possuem tecnologias amplamente utilizadas.

Softwares convencionais são facilmente adquiridos e utilizados pelo usuário (por exemplo, Internet).



Estrutura

Introdução

Aglomerados Gráficos de Computadores








Introdução

Projeção

Sincronização

Interatividade

Comunicação


IntroduçãoSuper-Computadores X Aglomerados

aumento do desempenho dos computadores convencionais e disponibilidade de redes de alta velocidade

Um aglomerado é caracterizado por um conjunto de computadores interconectados por uma rede local.

Os aglomerados (hardware e software) normalmente não são projetados para distribuição e sincronização de dados.

Introdução Projeção Sincronização Interatividade Comunicação


IntroduçãoNos aglomerados tradicionais, as tarefas:

são divididas em tamanhos menores

são distribuídas entre os nós

e no final é realizada a sincronização dos resultados

Os aglomerados gráficos oferecem uma visão múltipla do mesmo conjunto de dados

cada nó processa apenas os dados referentes a sua parte de interesse

e gera a imagem apenas daquela parte


5


Projeção

Para a implementação de sistemas capazes de propiciar ao usuário um sentimento de imersão, a tecnologia de projeção tem sido a mais utilizada: DLP, LCD e CRT.


Formato Resolução Horizontal x Vertical Fator de Escala VGA 640x480 4:3

SVGA 800x600 4:3

XGA 1024x768 4:3

SXGA 1280x1024 5:4

UXGA 1600x1200 4:3

HDTV 1920x1080 16:9

QXGA 2048x1536 4:3


DLP (Digital Ligthting Processing)

Baseada em DMD (Digital Micromirror Devices).

Os dispositivos DMD são moduladores binários espaciais da luz incidente.

DMDs são matrizes de microespelhos móveis montados sobre a superfície de memórias CMOS tipo SRAM.



CRT (Cathode Ray Tubes – CRT)

Três sistemas ópticos independentes para os canais vermelho, verde e azul

O fósforo dos tubos de raios catódicos possuem um tempo de vida limitado

Os projetores CRT normalmente não são muito brilhantes

O brilho de um píxel branco é da

ordem de 100 vezes o brilho de

um pixel preto



LCD (Liquid Crystal Display)

Baseada no princípio óptico da modulação da luz que atravessa um painel LCD

Baixo custo

Possuem brilho e contraste superiores aos da tecnologia CRT

Possuem apenas um canhão de luz

Rápido envelhecimento em função da alta intensidade luminosa que causa oxidação



Sincronização

Sincronização dos sinais de vídeo (Genlock)

Sincronização de dados (Data-Lock)

Sincronização da conclusão dos frames(Framelock/Swap-Lock)



Genlock

Relacionado principalmente com a sincronização para sistemas em estereoscopia ativa

Placas de vídeo devem estar com seus sinais de varredura sincronizados

Realizado através de sinal analógico adicional


6


Data-Lock

Os estímulos são transmitidos para os nós do aglomerados gráficos

Cálculo dos resultados dos dados centralizados e distribuição

Cálculo centralizado dos dados gráficos e distribuição



Framelock/Swap-Lock

Relacionado com a sincronização das mudanças de quadros entre as memórias de vídeo de cada placa gráfica

Uso da técnica de double-bufferum quadro está sendo exibido enquanto outro estásendo desenhado



Interatividade

Estereoscopia Ativa e Passiva

Imersão, Interação e Envolvimento

Experimento Passivo, Exploratório ou Interativo



Estereoscopia Ativa e Passiva

A percepção de profundidade do usuário éoriginada de características da imagem como tonalização, sombreamento, oclusão, movimento e perspectiva linear.

sistemas autoestereoscópicos

sistemas estereoscópicos multiplexados no tempo

sistemas estereoscópicos paralelos no tempo



Imersão, Interação e EnvolvimentoA imersão está ligada ao sentimento de fazer parte do ambiente.

Além do fator visual, dispositivos ligados aos demais sentidos também são importantes, como o som, o reposicionamento automático da pessoa e dos movimentos da cabeça, e controles reativos.

A interação está ligada à capacidade do computador detectar as entradas do usuário e modificar instantaneamente o mundo virtual em função das ações efetuadas sobre ele.

O envolvimento está ligado ao grau de motivação para o engajamento de uma pessoa em determinada atividade.



Experimento Passivo, Exploratório ou Interativo

Uma sessão passiva proporciona ao usuário uma exploração do ambiente automática e sem interferência.

Uma sessão exploratória proporciona uma exploração do ambiente dirigida pelo usuário.

Uma sessão interativa proporciona uma exploração do ambiente dirigida pelo usuário e, além disso, as entidades virtuais do ambiente reagem às ações do participante.


7


Comunicação

Necessidade de troca de mensagens entre os computadores de um aglomerado.

Os requisitos de sincronismo aumentam principalmente com o grau de interação dos usuário.

Garantir uma latência máxima: tempo decorrido entre o momento em que o usuário executa uma ação e o momento em que a aplicação apresenta o resultado desta ação.



Comunicação

Latência Máximalatência do dispositivo de entrada

latência dependente da aplicação

latência de geração de imagens

latência de sincronização, que inclui a latência de rede em aglomerados

latência induzida pela taxa de quadros



Comunicação

Ferramentas de comunicação em redes que podem ser utilizadas para o sincronismo:

MPI

PVM

Sockets

Corba



Memória Compartilhada Distribuída

Em aglomerados de computadoresa disposição fisicamente espalhada dos elementos força o uso de memória distribuída

Controlador de Conexão

Diretório

Porção DSM

ProcessadoresCaches


Diretório

Porção DSM

ProcessadoresCaches


Diretório

Porção DSM

Processadores Caches

Agrupamento 1 Agrupamento 2 Agrupamento N

Rede de Interconecção

Espaço de Endereçamento Compartilhado

DSM

o conceito de imagem única do sistema acentua a idéia de memória compartilhada



Estrutura

Introdução


Visualização ParalelaVisualização Volumétrica






Introdução

Pipeline Gráfica Paralela

Distribuição de Dados

Ordenação Paralela dos Dados

8


Introdução

Diferença:

método de renderizaçãoraycasting, shear-warp, splatting

algoritmo de renderização paraleladescreve como dados e processamento

serão distribuídos entre os recursos do sistema

Introdução Pipeline Gráfica Paralela Distribuição de Dados Ordenação Paralela dos Dados


Introdução

A escolha do algoritmo paralelo tem um impacto forte nas requisições de comunicação entre os nós, a menos que todos os nós tenham uma cópia local do dado.

Replicação de dados é altamente custoso para grande números de nós, base de dados grandes ou devido ao limite de memória.

Comunicação entre nós em um sistema paralelo consome tempo e pode degradar o desempenho significativamente.



Introdução

Sobrecarga dos algoritmos paralelos:comunicação entre tarefas ou processadores;

atrasos devido as tarefas eventuais;

computações adicionais ou redundantes;

armazenamento adicional de dados auxiliares ou replicados.



Introdução

Coerência consiste na tendência dos elementos próximos em tempo ou espaço possuirem valores similares.

localidade espacial

localidade temporal

percurso espacial contínuo

consistência funcional



Introdução

A granularidade está estreitamente relacionada com a decomposição de dados e tarefas.Uma computação possue granularidade fina se as

unidades da aplicação são pequenas, ou granularidade grossa se possem processamento substancial.

Uma decomposição de granularidade fina inclue poucos itens de dados em cada partição, enquanto uma decomposição de granularidade grossa usam blocos maiores de dados.



Introdução

EscalabilidadeEscalabilidade de desempenho é a habilidade de alcançar níveis mais alto de processamento em um problema de tamanho fixo, por exemplo cenas de maior complexidade ou melhores resoluções de imagens.

Escalabilidade de dados é a habilidade lidar com bases de dados de tamanhos cada vez maiores.


9


Pipeline Gráfica ParalelaIntrodução Pipeline Gráfica Paralela Distribuição de Dados Ordenação Paralela dos Dados

Subsistema Rasterizador

Subsistema GeométricoTransformações do Modelo e Visão

Iluminação

Projeção

Clipping

Mapeamento de Tela

Rasterizador

Atribuição de Texturas

Z-Buffer


Distribuição de DadosIntrodução Pipeline Gráfica Paralela Distribuição de Dados Ordenação Paralela dos Dados

base “volumétrica” de dados ?? → bases de dados

gerenciamento dos dados → falta de gerenciamento dos modelos de dados nas memórias (ex. formatos de arquivos)

bases grandes para memória → não é possível confiar na memória virtual do sistema operacional

bases grandes para disco local → elas também podem ser grandes para discos locais das estações de trabalho

latência de acesso → o tempo de acesso aos dados pode diminuir a interatividade da renderização


Distribuição de DadosIntrodução Pipeline Gráfica Paralela Distribuição de Dados Ordenação Paralela dos Dados

Considerando a localidade espacial e temporal dos dados volumétricos, protocolos de consistência de dados podem replicar parcialmente ou migrar blocos entre processadores.

Algoritmos de Visualização

Gerenciamento de Dados

Modelos de Dados

Armazenagem Distribuída de Dados



Sort-First (durante o processamento geométrico): os processadores implementam a pipelinede renderização completa para um parte da tela.

primitivas

ordena para o espaço da tela

Processador Geométrico

Rasterizador


Rasterizador


Rasterizador


Rasterizador

janela



primitivas

ordena para o espaço da tela


Rasterizador


Rasterizador


Rasterizador


Rasterizador

janela

Ordenação Paralela dos DadosIntrodução Pipeline Gráfica Paralela Distribuição de Dados Ordenação Paralela dos Dados

Sort-Middle (entre o processamento geométrico e a rasterização): esta técnica não se aplica em sistemas convencionais.


primitivas


Rasterizador


Rasterizador


Rasterizador


Rasterizador

imagensparciais

píxel compostojanela


Sort-Last (depois da rasterização): cada um processa os valores dos píxeis para seus subconjuntos, sem diferença onde eles irão cair na tela.


10


Estrutura

Introdução



Visualização VolumétricaVisualização Baseada em Imagens





Conceitos Básicos

Métodos de Renderização

Biblioteca PfV

Demonstração


Vóxel Volume

Célula

Vóxel

Conceitos BásicosVóxel é a unidade básica de um dado volumétrico.

Volume consiste em um conjunto de vóxeis organizados espacialmente.

Célula-Vóxel é um conjunto de vóxeis adjacentes conectados segundo uma topologia arbitrária definindo um espaço fechado.

Conceitos Básicos Métodos de Renderização Biblioteca PfV Demonstração


Conceitos BásicosConceitos Básicos Métodos de Renderização Biblioteca PfV Demonstração

Curvolineares Rectilineares

Anisotrópico Isotrópico

Não-conexos

Volumes

Conexos

Irregulares Regulares

Amorfo Lineares

A organização está relacionada com a obtenção dos dados.


Conceitos Básicos

i

j k

f(0,y,z)f(1, y, z)

Interpolação Trilinear

f(x,y,z)

f(1,0,0)

f(1,0,1)f(0,0,1)

f(0,1,1) f(1,1,1)

f(0,1,0)

f(0,0,0)

f(1,1,0)

f(1,0,z)f(0,0,z)

f(0,1,z)f(1,1,z)


Conceitos BásicosConceitos Básicos Métodos de Renderização Biblioteca PfV Demonstração

czyxf =),,(

Gradiente

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )2

1,,1,,,,,,2

,1,,1,,,,,2

,,1,,1,,,,

−−+=

∆∆

≅

−−+=

∆∆

≅

−−+=

∆∆

≅

zyxfzyxfz

zyxfz

zyxf

zyxfzyxfy

zyxfy

zyxf

zyxfzyxfx

zyxfx

zyxf

δδ

δδ

δδ

11


Vóxel Volume

Célula

Vóxel

Conceitos BásicosVóxel é a unidade básica de um dado volumétrico.

Volume consiste em um conjunto de vóxeis organizados espacialmente.

Célula-Vóxel é um conjunto de vóxeis adjacentes conectados segundo uma topologia arbitrária definindo um espaço fechado.



Técnicas de RenderizaçãoRenderização Volumétrica Diretaraios são traçados entre o espaço do

objeto e o espaço do observador

O volume é então amostrado em intervalos regulares

ao longo dos raios

Técnicas Raycast

Profundidade

Intensidade Máximo

Média

Acumulado

Primeiro



Biblioteca PfV

projeto PfV – Prefetching Voxelbiblioteca de renderização paralela de dados volumétricos

API (Application Programming Interface) de desenvolvimento

Algoritmos de Rendering (Raycasting)

Camada de Gerenciamento e Antecipação de Dados

Camada de Comunicação (LAM-MPI)

Sistema Operacional Convencional (Linux)

Arquitetura Convencional (Cluster de PCs)

Aplicações



Interface PfV

Thread de

Comu-nicação

Canal de Comunicação

Thread do

Proto-colo

Base de Dados

Processo Principal PfV

Processo da

Aplicação

Primitivas de comunicação

Primitivas de sincronização

Primitivas de acesso de

leitura e escrita

Janela de Renderização

Janela da Aplicação

(Controles da Visualização)

Diretório de

Blocos Comandos de leitura e escrita Gerenciamento

dos blocos

Threads de

Rende-rização



Arquitetura de Software

Aplicação

Input Render Manager

RAM Communicator Servidorde

Dados

Disco Local

Rede de Comunicação

Prefetching

Interface PfV



Antecipação de Dados

Reduzir o tempo de comunicação de mensagens em redes de computadores

reduzindo a latência total do sistema aproveitando os momentos em que a rede fica ociosa

reduzindo a contenção de rede já que a antecipação permite à aplicação usar técnicas de compressão


12


Antecipação de Dados

Pré-busca processadores requisitam dados antes que eles sejam utilizados.

Pré-oferta o bloco de dados é oferecido a um outro processador que deve fazer uso.

Processo A Processo B

Este bloco será útil para você!

Processo A Processo B

Quero o bloco vermelho!



Módulo Input

configurar o ambientetamanho da memória principal, tamanho do cache, tamanho do disco local, tamanho da página de memória principal

receber as informações sobre o experimentolocalidade, quantidade, extensão, formato, resolução e número de vóxeis dos arquivos da base de dados

dimensão das janelas, resolução da imagem de saída, coordenadas do ambiente de visualização

realizar a leitura de bases diferentes de dados



Módulo Communicatorprotocolo de comunicação e sinais de sincronização

thread de comunicação

transmitir mensagens de qualquer tamanho em bytesrótulo (tag) associado

outro processo

Fila de Saída

Fila de Entrada

Thread de

Comu-nicação

Threads Superiores

Canal de Comunicação

Buffer de

Entrada

Módulo Communicator



Módulo Managergerenciar a estrutura de blocos na memória local e sua relação com as outras memórias do sistema

esquema de distribuição dos blocos

primitivas de acessos de leitura e escrita

thread de protocolo de comunicação

M anager: primitivas de le itu ra ,

primitivas de escrita eprimitivas de busca.

RAM (M emória Principa l) Diretório :

Disco Local (M emória Secundária)

Memória Remota



Protocolos de Comunicação

Protocolo Única-Cópia

Dono BL

Dir

BL

Dir

Situação C

1º

2º

BL

Dir

5º

BL

Dir

3º

6º

4º

Possuidor

Primeiro Requisitante

Segundo Requisitante

BL

Dir

BL

Dir

Dono Requisitante

Situação A

1º

2º

BL

Dir

BL

Dir

Possuidor

Situação B

1º

2º

BL

Dir

3º

Requisitante

Dono



Módulo Render

gerenciamento dos threads de renderização

composição da imagem final

mapeamento para a janela de renderização

implementações das técnicas de renderização

operadores de interpolação e de gradiente

Thread 1

Thread 2

Thread 4

Thread 3

Imagem Final


13


Demonstração

Application Window

PfV Window



Estrutura

Introdução




Visualização Baseada em ImagensVisualização Geométrica




Introdução

Conceitos Básicos de IBR

Tecnologias Multimídia com MPEG-4

Sistemas de Multiprojeção baseados em MPEG-4

Estudo de Caso: Simbiose Virtual


Introdução

Na visualização de alto desempenho, o uso de imagens é necessário quando se quer aproximar ao máximo da realidade ou simplificar o modelo geométrico em aplicações de tempo real.

Introdução Conceitos Básicos Tecnologias MPEG-4 Sistemas Multiprojeção Estudo de Caso


Introdução

Alto desempenho em visualização de imagens paralela: tecnologias multimídia + Image-based RenderingAplicações em ambientes imersivos: CAVERNA Digital




Uma câmera virtual navega numa cena real.

A imagem da câmera virtual é gerada (renderizada) a partir das fotos obtidas por um conjunto razoável de câmeras digitais que apontam a cena.

Mas, ... como isso é feito?


14


Conceitos Básicos de IBRCom uma composição dospixels das fotos.

Objetos da cena

C0 C2 C3C1

Câmera VirtualMóvel na cena

Câmeras digitaisfixas




Classificação das técnicas de IBR [Oliveira02]:

Renderização Pura com Imagens

Renderização de Imagens com geometria da cena pré-computada

Métodos Híbridos que combinam as duas técnicas




Regra básica:

Nos métodos híbridos, para obter uma boa resolução e boa qualidade da imagem renderizada, o número de câmeras necessárias é inversamente proporcional à quantidade de geometria a ser computada




Para renderizar imagens em tempo real um modelo geométrico deve ser o simples o suficiente para não haver sobrecarga computacional e portanto háum compromisso com o número de câmeras do sistema.



Conceitos Básicos de IBRArquitetura com múltiplas câmeras

camera

Video PC

PCProcessamento

de Imagens

camera

camera

camera

camera

camera

camera

camera

camera

Video PC

Video PC

PCProcessamento

de Imagens

Renderer PC

Renderer PC

Renderer PC

Renderer PC

Projetor

Projetor

Projetor

Projetor



Grupo MPEG

The Motion Picture Experts Group (MPEG) é um grupo de trabalho internacional ISO/IEC com o objetivo de desenvolver padrões para compressão, processamento e codificação de representacões multimídia.


15


Padrões

2 padrões finalizados.MPEG-1 eMPEG-2

3 padrões em desenvolvimentoMPEG-4 MPEG-7 e MPEG-21




MPEGMPEG--11

MPEGMPEG--22

MPEGMPEG--44

MPEGMPEG--77

codificaçãocodificação

objetosobjetos

nívelnível

dede

abstraçãoabstração

semanticasemanticaMPEGMPEG--2121 organizaçãoorganização



Por que MPEG-4?

O MPEG-4 integra imagem, áudio, vídeo, texto, gráfico e animação, dentro de um único framework de autoria e apresentação, usando os conceitos da orientação à objetos e sendo disponibilizado para autores, provedores de serviços e usuários.

O MPEG-4 é permite que conteúdos sejam codificados uma vez e distribuídos em diferentes taxas de comunicação.



Por que MPEG-4?

A interatividade com a cena, é uma das maiores vantagens do MPEG-4 na visão do usuário. Os sistemas atuais permitem operações simples como parar ou iniciar um vídeo.

Interação com todos os objetos da cena definida pelo autor, que pode possibilitar a remoção, adição ou reposicionamento de objetos na cena;



ExemplosIntrodução Conceitos Básicos Tecnologias MPEG-4 Sistemas Multiprojeção Estudo de Caso



16


Exemplos

2D Audio-visual sceneAnimated Text+ Video + Still Images





Arquitetura MPEG-4Arquitetura

Baseado em Objetos

Fim-a-Fim

Como multiplexar e distribuir streams ?DMIF

Como sincronizar streams ?Camada de Sincronização

Como Codificar/Decodificar Streams ?Modelo de Decodificação



Exemplo Cena MPEG-4Introdução Conceitos Básicos Tecnologias MPEG-4 Sistemas Multiprojeção Estudo de Caso


Arquitetura MPEG-4 Player

Composição e SintetizaçãoComposição e Sintetização

Transmissão/Armazenamento Transmissão/Armazenamento

Cena

Visualização e Interação do Usuário

Segmentos TansMux

(RTP)UDP

IP

H223PSTN

DABMux

CamadaTransMux

FlexMux FlexMux

(PES)MPEG-2

TS

AAL2ATM

FlexMux

...Camada TraxMux

Stream Multiplex Interface

SL SLSL SL ... Camada deSincronização

SL

SL

SL

Camada Sincronização

ES Interface

Objetos AVDescriçãoda Cena

Descritorde Objetos

... Camada de

Compressão

Canalde

AtualizaçãoCamada Compressão



DMIFDelivery Multimedia Integration Framework

Transmissão/Armazenamento

FlexMux Streams

RTPUDP

IP

Camada TraxMux

PESMPEG2PS/TSP

ATM .....

FlexMux FlexMux

(DAI)Delivery

ApplicationInterface

Stream de Pacotes MPEG-4


17


DMIFA camada de Distribuição é uma abstração genérica de:

Qualquer formato de arquivo

Qualquer meio de transmissão

Associa funcionalidades de controles genéricos

O DMIF descreve somente as interfaces através do DAI (Delivery ApplicationInterface)



Streams Elementares Uma Stream Elementar (ES) contém a representação codificada de um dado:

Vídeo

Áudio

Descrição da Cena (BIFS)

Descritores de Objetos

Descritores de informação

Cada ES contém um tipo de informação/mídia



Streams Elementares Pode ser download ou upload stream

Codificadas/Decodificadas usando os seus respectivos Encoder/Decoder

Abstração Básica para qualquer tipo de dado



Gerenciamento Strems (1/2)Descritores de Objetos (OD)

Relacionamento entre os streams e a cena

Streams auxiliaresIPMP (Intellectual Property Management and Protection)OCI (Object Content Information)



Gerenciamento Streams (2/2)Sincronização

Time Stamps, Identificação, …

Modelo de Sistema de Decodificação

Formato de ArquivoUma forma de trocar apresentações MPEG-4



Unidades de Acesso - AU Uma Stream Elementar é dividida em Unidades de Acesso (AU)

Uma AU e a unidade de dado consumida por um decoder;

Uma AU é a menor unidade de dado no qual a uma informação de tempo pode ser atribuída (tempo de decodificação e tempo de composição)


18


Exemplo

DDeelliivveerryy

DAIDAI

DDeelliivveerryy

DAIDAI

CCoommppoosseerr

RReennddeerriinngg

DecoderDecoder

DecoderDecoder

DecoderDecoder

EncoderEncoder

EncoderEncoder

EncoderEncoder

EncoderEncoderBIFSBIFS

DecoderDecoderBIFSBIFS



O Que é BIFS ?

Bindary Format for ScenePermite compor tipos de mídia na mesma cena

2D/3D, natural/sintético, vídeo/áudio, armazenado/streamed



O Que é BIFS ? BIFS é baseado no VRML :

Conjunto de Nodes para representar os objetos primitivos de uma cena, comportamento e interatividade.

Descreve comportamentoSensores, rotas e interpoladores

Scripts e MPEG-J

Comportamento do Stream



Exemplos 2D

Texto Animado + Vídeo + Imagens Estáticas Vídeo sobreposto de Texto

Animado + Vídeo + Imagens Estáticas



Exemplos 3D

Primitivas gráficas 3D

Malha 3D

Cena com Objeto Face




Um OD contém:

Descritores ES que indicam:Streams com qualidade variável

Informações de Conteúdo

Informações de IPMP

Permite ao terminal adequar-se as características da apresentação


19



Subdescritores ES:

Configuração do DecoderTipo de Stream ou Cabeçalho

Configuração do Sync Layer

Informações de Qualidade de Serviço



DescriçãoDescriçãoda cenada cena

Descritores de ObjetosObjectDescriptor {

OD_ID_1 {

ElementaryStreamDescriptors

}}

ObjectDescriptor { OD_ID_2

{ ElementaryStreamDescriptors

}}




ES_Descriptor {

ES_ID_4 ......}

ES_Descriptor {

ES_ID_5 ......}

ES_Descriptor {

ES_ID_3 ......}



}}



}}



Descritores de ObjetosObjectDescriptor {

OD_ID_1 URL

}

ObjectDescriptor { OD_ID_2URL

}

ObjectDescriptorID




ES_Descriptor {

URL ......}

ES_Descriptor {

URL ......}

ES_Descriptor {

URL ......}



}}



}}



Conteúdo Alternativo

Encoder Decoder

DescritorDescritorObjetoObjeto

ESDESD11

ESDESD22

ESDESD33

RedeRede

Dado


20


Conteúdo Escalável

Encoder Decoder

DescritorDescritorObjetoObjeto

ESDESD11

ESDESD22

ESDESD33

RedeRede

Dado


Sincronização de Streams



Pacote SLTambém conhecida Sync Layer

É formado por um header e payload

Determina as fronteiras de uma AUPacote Sync. Layer

Header Payload



Pacotes e Stream SL

Access UnitElementary Stream

Sync. LayerCompression Layer

Encoders

Access Unit Access Unit

SL-packetized stream

Pacote SL Pacote SL Pacote SL



Sistema de Decodificação

DecoderDecoderBuffer 1Buffer 1




DecoderDecoder

DecoderDecoder

DecoderDecoder

BIFSBIFSDecoderDecoder

Memória deMemória deCompos. 1Compos. 1




CCoommppoosseerr

DDeelliivveerryy

DAIDAI


Iniciando uma Apresentação


21


Iniciando uma apresentaçãoPlayer Player

MPEGMPEG--4 4 OD OD

InicialInicialESDESD11

ESDESD22

Descrição da Cena Stream

Descrição dos Objetos Stream

Visual Stream

Visual Stream

Visual Stream

Audio Stream

Interactive SceneDescription


Sistemas de MultiProjeção



Sistemas de MultiProjeçãoIntrodução Conceitos Básicos Tecnologias MPEG-4 Sistemas Multiprojeção Estudo de Caso


Sistemas de MultiProjeçãoIntrodução Conceitos Básicos Tecnologias MPEG-4 Sistemas Multiprojeção Estudo de Caso


Simbiose Virtual

ComputadorCodifica eDecodifica MPEG-4

Segmentos TansMux

Meio de Transmissão

(RTP)UDP

IP

H223PSTN

DABMux

CamadaTransMux

FlexMux FlexMux

Stream Multiplex Interface

(PES)MPEG-2

TS

AAL2ATM

FlexMux

...

Descriçãoda Cena

DemaisSegmentosElementares

Descritorde Objetos

CPU s

CartãoGráfico

CAVERNA

Interaçãodo Usuário

Canal deAtualização

Gerenciamento das Telas

EstaçãoServidora

Camada de Adptação

ArquiteturaMPEG-4

( Servidor)

Aglomerado



Simbiose VirtualIntrodução Conceitos Básicos Tecnologias MPEG-4 Sistemas Multiprojeção Estudo de Caso

22


Estrutura

Introdução





Visualização GeométricaVisualização Colaborativa



RV e CAD

Single Machine CAVE

Jinx


Primeiro sistema de multiprojeção cúbica para RV Imersiva “CAVE” (CAVE AutomaticVirtual Environment)

Universidade de Illinois em Chicago (1992)

Aglomerado de Silicon Graphics PersonalIRIS

Compartilhamento de memória

RV CAVE – System Overview

RV e CADRVCAD SingleMachineCAVE Jinx


RVCAD SingleMachineCAVE Jinx

RV e CADRV CAVE – Sistema CAVERNA Digital®


RV e CAD

CAVERNA Digital®

Sistema cúbico de 5 lados

Estereoscopia ativa de alta resolução

Infraestrutura completa (som, rastreamento, iluminação, etc)


AplicaçõesInstalaçãoGerenciamento (SIRIUS)Desenvolvimento (JINX)

RV CAVE – Sistema CAVERNA Digital®Aglomerado de Realidade Virtual (VRCluster)

InteratividadeDiversos meios (vídeo, som,

entrada/saída, etc)Sincronismos específicos


RV e CAD

Áreas como:Jogos

Entretenimento

Aplicações Militares

Medicina

Engenharia


RV CAVE

23


RV e CAD

Visualização Tempo Real

Imersão do Usuário

Interação mais natural

RV CAVE - Engenharia



Desempenho

Escalabilidade

Flexibilidade

Baixo Custo

RV CAVE – Cluster Powered



Volume de dados muito grande

Formatos proprietáriosPDS, DGN, ACIS SAT, IGES, Parasolids, DLV, EXP

Visualização dependente do programa empregado

Modelos Complexos



Sem texturas associadas

Desempenho baixo para visualização

Superfícies complexas

Modelos Complexos



PetroviewDentro do projeto aglomerado gráfico de alto desempenho

Visualizador Estereoscópico para arquivos DGN provenientes do MicroStation

Modelos Complexos



PetroviewVisualização

Tempo Real

Estereoscópica

Arquivos DGN

Ambientes RV Imersivos

Voltado para arquitetura de Aglomerados Gráficos

Modelos Complexos


24


Pipeline Petroview


DGNDGN Leitura/Leitura/InterpretaçãoInterpretação PrincipalPrincipal

EscravoEscravo

EscravoEscravoProjetores

Projetores

Estruturas Internas


Arquivo Binário

Sequencial

Objetos Simples e Complexos (e.g. Line, Polygon, Arc, Surface)

Overview DGN



Reorganização dos dados

Transformação de alguns objetos para formas paramétricas (e.g. Arc)

Diferentes níveis de detalhe

Reestruturação DGN



Divisão de Renderização por Nó

Sincronismo de Dados, Redesenho, Sinal Estéreo (Datalock, Framelock, Genlock)

Distribuição

RV e CADRV e CADRVCAD SingleMachineCAVE Jinx


Distribuição

RV e CADRV e CADRVCAD SingleMachineCAVE Jinx

Escravo Escravo

Mestre DataLockDataLock

SwapLockSwaplock

Glass (Nova Versão DICELib)Glass (Nova Versão DICELib)


Pentium Xeon 3Ghz

QuadroFX 3000G

Linux

OpenGL

Performer

Aglomerado Gráfico


25


Aglomerado Gráfico


Nó Gráfico

Nó Gráfico

Switch Giga


Desempenho


30 fps~500000 polígonos

Sem Shading

Ainda não-implementados LOD e ViewCulling


tpnView Distribuído



RV e CADtpnView Distribuído


Engenharia Naval – Poli USP


Petroview



RV e CAD

Single Machine CAVE

Jinx


26


Diminuir ainda mais os custos

Portabilidade de transporte

Instalação Simples

Objetivos

Single Machine CAVERVCAD SingleMachineCAVE Jinx


1. Configuração

2. Desempenho

3. Estereoscopia

Problemas



Projeto OP_ERAPIII 800Mhz

512 Mb RAM

Matrox G400

Nvidia GeForce 256

Sound Blaster LIVE!

Capaz de alimentar três telas

Hardware - I



Hardware - I



Linux Debian Potato 2.2r3Kernel 2.2

XFree 4.01

OpenGL / C++

Software - I



25 fps

Número reduzido de Polígonos

Formas primitivas simples

Entrada de dados através de sensores de movimento

Saída MIDI conectada a Macintosh

Desempenho


27


Desempenho


0500000

10000001500000200000025000003000000350000040000004500000

Triângulos Tri/Text

Onyx3/IRGeForce256MatroxG400

Tri/Seg

* SPECglperf version 3.1.2


Single Machine CAVEScreenShoots



Projeto CathedralDICELib

Dual Xeon 933Mhz

1 Gb RAMBUS

Matrox G400

NVidia GeForce 256

Hardware - II



RedHat Linux 8.0Kernel 2.4

DICELib

OpenGL / C++

AseReader

Software - II



AseReaderConversão de 3DMAX para .ASE

Arquivo ASCII

Lista Ligada de vértices, triângulos e polígonos

Software - II



15fps

Modelo catedral de Sibenik

~1.000.000 polígonos

Desempenho


28


Screeshoots



Screeshoots



Screeshoots



RV e CAD

Single Machine CAVE

Jinx

Visualização GeométricaRVCAD SingleMachineCAVE Jinx


Stereoscopia

Recurso que permite a visualização de imagens com a sensação de profundidade, gerando uma imagem diferente para cada vista.


Sistemas

Sistema Passivo:Filtros polarizadores

Sistema Ativo:Óculos de batimentos

Sistema Auto-estereoscópicoMonitores LCD

29


Sistema Passivo

Filtros polarizadoresVermelho-verde

Infi-tech

Polarização direcional


Sistema Ativo

Óculos de batimentoStereoEyes


Sistema Auto-estereoscópico

pixel


Ajustes de CâmerasRVCAD SingleMachineCAVE Jinx


Ajuste dinâmico da Paralaxe


Ajuste dinâmico da Paralaxe

30


Sistema de Rastreamento

EletromagnéticoFlock of Birds Ascension

Necessidade de compatibilidade eletromagnética

Posição (X, Y, Z)

Direção (Dx, Dy, Dz)


Formato de arquivos

3D Studio

Maya

Inventor

VRML

X3DX3D



Fácil conversão de arquivos VRML

Fácil de entender e modelar

Portável entre plataformas

Fácil de ensinar e programar

Vários níveis de utilização

http://www.web3d.org

Suporte a X3D


DriversOs cartões gráficos devem utilizar o recurso de

aceleração 3D pelos drivers

Application

22 de outubro de 2003 SVR 2003 - Visualização de Alto Desempenho 179 22 de outubro de 2003 SVR 2003 - Visualização de Alto Desempenho 180

PCI – ExpressPCI – Express

0

20

40

60

80

100

MB/s

Barramento

Desenpenho de Barramento

Banda/pino 1,58 6,48 7,09 9,85 16,38 17,78 35,56 100

PCI AGP 2X PCI-X 133 AGP 4X AGP 8X PCI-X

266PCI-X 533

PCI Express

31


OpenGLGL

Funções básicas, desenha pontos, linhas, polígonos, etc

GLUFunções mais elevadas, faz tecelagem, recursos de texturas, NURBS, etc.

GlutFunções mais avanças ainda, em especial controle das janelas


OpenGL

Diversas Versões1.0, 1.1, 1.2, 1.3, 2.0

Dentre outras

CG (C for Graphics)Permites recursos muito poderosos de síntese de imagens em tempo real.


Direct3DMuito direcionado ao mercado de jogos

Apresenta grande complexida, em parte devido ao windows

Somente funciona em Windows, enquanto OpenGL:

Além do Windows

Linux

SGI

Machintosh, etc


Sistemas Disponíveis


JINX

Navegador para ambientes Imersivos

Suporta aglomerados de computadores convencionais

Suporte X3D

Espacialização de Som

Baseado em MPI e Pthreads

Rotinas de configuração em XML



Acesso a dispositivosRVCAD SingleMachineCAVE Jinx

Vários graus de liberdade3 graus de rotação

3 graus de translação

Porem podem haver mais como botões, deformadores, movimentadores especiais

32






cluster

XM

L/MP

I

Comunicação intra-cluster


cluster3

cluster2cluster1

XML

XM

L

XM

L

Comunicação inter-cluster



Funcionamento Interno



Sistema de Comunicação

33


Sistemas de baixo nível

Network

MPI

Socket

VIA

Sound Graphic

FMod OpenGL Perfomer

Glass



Exemplo de Programa#include "engine.h"int main(int argc, char* argv[]) {

Engine* engine = new Engine(&argc,argv);

engine->Configuration("http://foo/render.xml");

engine->X3D("http://foo/exemplo.x3d");//engine->OpenGL(&myDrawGLScene);

engine->run();delete engine;return(0);

}


Desempenho

0

10

20

30

quadros/ segundo

estações

Desempenho Individual

cena1 24,1 9,9 8,6

PC1 PC2 SGI

0

5

10

15

20

25

quadros/ segundo

estações

Teste Aglomerado

individual 24,1 9,9 8,6

aglomerado 8,4

PC1 PC2 SGI PC1+PC2+SGI



Resultados preliminares


Comdex 2003 - Cluster


Encapsular VTK

34


Jinx - snapshots


Jinx - snapshots


Estrutura

Introdução








Collaborative Visualization

Introduction

Communication’s Architecture

Dynamic Shared State

Current Challenges

CVEs for Visualization

CVE Applications


Collaborative Virtual Environments

STUDIERSTUBE http://www.psych.ucsb.edu/~beall/research_projects.htm

Introduction Communication’s Architecture Dynamic Shared State Current Challenges CVEs for Visualization CVE Applications


The Need for Collaboration

Typical visualization systems are designed around a single-user model, making it awkward for research teams to collectively analyze information


35


Networked Virtual Environments

“A networked virtual environment (net-VE) is a software system in which multiple users interact with each other in real-time, even though those users may be located around the world” [Singhal/Zyda99]

MASSIVE

http://www.crg.cs.nott.ac.uk/research/systems




DOOM




Common Virtual World

Network



Collaborative Virtual Environments

“CVEs represent the computer as a malleable space, a space in which to build and utilize shared spaces for work and leisure. CVEs provide a terrain or digital landscape that can be ‘inhabited’ or ‘populated’ by individuals and data, encouraging a sense of shared space or place. Users, in the form of embodiments or avatars, are free to navigate through the space, encountering each other, artefacts and data objects and are free to communicate with each other using verbal and non-verbal communication through visual and auditory channels” [Churchill/Snowdon/Munro 01]



CVEs Essential Requisites

Shared space

Shared presence

Shared time

A communication means

An interaction means

DIVE



Dynamic Shared StateParticipants in a CVE maintain a “dynamic shared

state” of the virtual world, by exchanging update messages through the network.


DIVE

36


Key Benefits of Collaborative Visualization

Better conclusions: Experts can achieve better conclusions working together than in isolation[Mark02]

Remote collaboration: CVEs enable collaboration of multiple participants, even ifthey are in different geographical locations



Checklist

CVEs are NVEs.

To effectively enable collaboration, CVEs must provide some “illusions” and means

The “dynamic shared state” of the virtual world is maintained by exchanging update messages through the network

CVEs bring benefits to visualization that couldn’t otherwise be achieved (remote collaboration)



Design Choices

Creating a CVE demands architectural design choices regarding: Techniques and Protocols, and Topology



Techniques and Protocols

TCP

UDP

IP Broadcasting

IP Multicasting



Techniques and Protocols - TCPPoint-to-point connection to an application running in another machine.

Data Checksum for integrity.

Flow-control: to avoid flooding of messages, including acknowledgements.

Keeps strict ordering and consistency of packages.

Stream-based semantics.



Techniques and Protocols - UDPConnectionless transmission.

Information about the state of the connection is not kept.

Best-effort delivery.

No guarantee of delivery or order of messages.

Packet-based semantics. (Each packet is self-contained.)


37


Techniques and Protocols - UDP

Advantages over TCP

No overhead for connection-oriented semantics.

Packages can be transmitted/received immediately, no need for queues.

It is possible to send information to groups of users (broadcasting, multicasting).



Topology – Client/Server

The Server can become a bottleneck.

What are the advantages? The server can decide:

Which clients should receive a message

What protocol to use with different clients

Sub-sample messages to slow users

Keep statistics

...



Topology – Peer-to-Peer

“Network” will be:

Broadcast

One or multiple multicast groups

In the case of multicast groups:

Area of Interest Management: assign different users to different multicast groups, based on some criteria



Topology – Multiple Servers

Server 1

Client 1 Client 2 Client n…

Client 1 Client 2 Client n

Server 2

…



Topology – Multiple Servers

Some remarks:

System scales better than pure C/S

Communication between clients attached to different servers takes longer

Key issue: How to assign clients to servers?



Capabilities and Limitations

The network topology and communication’s architecture determine the system’s capabilities and limitations (fault tolarance, scalability, etc).


38


Some Remarks

Large peer-to-peer NVEs, be careful with routers.

IP Multicasting

Small peer-to-peer NVEs with high data requirements and time sensitive delivery.

IP Broadcasting

Higher data requirements

Used both in client-server and peer-to-peer configurations.

UDP

Small number of users

Limited data requirements

Typically client-server configuration

TCP



Main Idea

Provide users with the illusion that every participant is seeing the same things and interacting with each other

Things in the NVE change

Without dynamic shared state, the illusion of sharing space and time breaks



Definition of the Problem

The consistency-throughput tradeoff

It is impossible to allow dynamic shared state to change frequently and guarantee that all host simultaneously access identical versions of that state. [Singha/Zyda 1999]



Consistency vs. InteractivityAbsolute Consistency

Wait until everybody acknowledges before moving to a new position.

Considering latency and available bandwidth, this may imply slowing down too much.

Frequent State RegenerationUsers send the updates and move on.

But: some users will receive the updates quickly and others won’t.

Inconsistent views.



Repositories

Centralized Repositories

File Repository (pedagogical purpose)

Server Memory

Server

User 1

User 2

User n



Repositories

Distribuited Repositories (“Virtual” Repository)Different clients manage different parts of the world

Clients have a local cache of used objects

No bottleneck, but complex to program

Network


39


Scalability

One of the hottest topics on NVEs. It is approached by architecture design.

Aura-based spatial model

Partition the virtual space in regions –associated to different multicast groups

Grid-based approaches



Heterogeneity

Also approached by architecture design.

Client/Server Switch-board architecture [Trefftz01] deals with heterogeneity.

Switchboard Message Distribution Architecture



Ideas for Functionality

Annotate models

Bookmark and share views

Audio and video communication

Virtual 3D pointers to point at specific parts of the data

Application-specific



A ChecklistWhat communication’s architecture will be used and why?

Where will be the models stored? (repositories)

Application protocol design: What things can change and how can we communicate these changes? (dynamic shared state)

What is the number of users and the expected growth? How can you partition the model?

How do the machines compare to one another? Do we know them?



Telepresence Applied to the Higher Education

Java3D-based and VRML content

Users are represented in the virtual environment with 3D pointers (avatar)

User can see his/her pointer and other people's pointers

Teacher and students can communicate using real-time audio and video



Augmented Reality in the Teaching of Mathematics

Intuitive point-of-view definition and zooming

User can relate to the visualized model spatially

Easier to share point-of-views and point to specific parts than in pure Virtual Environments

Communication takes place by natural means, as people can still see one another and listen to one another


40

Visualização de Alto Desempenhoutilizando equipamentos convencionais

SVR 2003

VI Simposium on Virtual Reality

Final do Minicurso

SVR2003 Minicurso VAD - lsi.usp.brpbressan/artigos/SVR2003_Minicurso_VAD_handouts.pdf ·...

Documents

Transcript of SVR2003 Minicurso VAD - lsi.usp.brpbressan/artigos/SVR2003_Minicurso_VAD_handouts.pdf ·...