Como o Deep Learning Possibilitou o Ray Tracing em Tempo Real
36
Como o Deep Learning Possibilitou o Ray Tracing em Tempo Real Jose Ricardo da Silva Junior http://www.josericardo-junior.com [email protected]
Transcript of Como o Deep Learning Possibilitou o Ray Tracing em Tempo Real
Como o Deep Learning Possibilitou o Ray Tracing em Tempo RealJose Ricardo da Silva Juniorhttp://www.josericardo-junior.com
Perfil• Professor Instituto Federal do Rio de Janeiro
(Eng. Paulo de Frontin)
• Coordenador de pesquisa, inovação e incubadora
• Áreas de pesquisa envolvendo HPC, Inteligência Artificial, Rendering e Jogos
2
Agenda Sistema de Renderização
Ray Tracing
Técnicas para Ray Tracing
Deep Learning
Uso do Deep Learning com Ray Tracing
3
Evolução
E.T. the Extra-Terrestrial – Atari (1982)
Cyberpunk 2077 – CD Projekt Red (2020)
4
Como Aumentar o Realismo?
Aumentar quantidade de
polígonos
Usar texturas de alta
resolução
Usar modelos de iluminação mais realistas
5
Game Techniques
6
Game Techniques
Environment Mapping
7
Usar Técnicas Aplicadas em Filmes?
•Qualidade dos filmes de Hollywood ainda necessitam de aproximadamente várias horas / quadro em um um sistema Multi-GPU [1]
8
Usar Técnicas Aplicadas em Filmes?
• Sistema de Física
• Atualização dos estados do
jogo
• Renderização
• Inteligência Artificial
Mínimo de 30 FPS = 33,3 ms
9
Mínimo de 60 FPS = 16,6 ms
Rasterização
• Reflexão baseado no modelo de Blinn / Phong [2]
•Modelo de iluminação que utiliza interpolação de cores ou normais
•Desconsidera iluminação indireta da da luz com outros objetos
10
Ray Tracing
•Modelo de iluminação fisicamente mais preciso
•Considera os raios refletidos e refratados
•Contribuição de iluminação indireta
• Sombras mais realistas (self-shadows)
11
Ray Tracing
12
Ray Tracing
•Processo muito custoso
•Requer muitos raios
•A qualidade da imagem gerada está relacionada com o número de raios primários e secundários gerados
13
Ray Tracing
14
Real Time Ray Tracing
•Arquitetura Turing (2019)
•Várias técnicas implementadas em GPU para aceleração de Ray Tracing
15
Intersecção de Raio16
Ray Tracing Híbrido
•Uso de iluminação por Ray Tracing somente em partes da cena que necessitam de mais detalhes [3]
17
Multi-Res Shading
18
RTX Pipeline
19
Já é Suficiente?
• Apesar de todas essas tecnologias, ainda não foi suficiente
• Dificilmente conseguimos resolução 4K com 60 FPS
• Quantidade limitada de raios (limitante da qualidade)
• Resolução 4K com Ray Tracing habilitado torna-se impossível, dependendo da cena
20
Aprendizado de Máquina
•Método de análise de dados que automatiza a construção de modelos analíticos
• Sistemas podem aprender com dados
• Solução para problemas que não possuem um formalismo teórico
21
Deep Learning
•Ramo do aprendizado de máquina que modelam abstrações em dados para extração de características
•Baseado em rede neural utilizando o neurônio matemático
•Utiliza várias camadas ocultas para processamento
https://www.institutodeengenharia.org.br/ 22
Deep Learning
•Baseado no Perceptron, desenvolvido em 1957 por Rosenblatt [4]
•Possui uma função de agregação (geralmente somatório)
• Função de ativação não linear e diferenciável
http://deeplearningbook.com.br/o-neuronio-biologico-e-matematico/23
Deep Learning
• Impulsionado pelo aumento do poder computacional
•Disponibilidade massiva de dados (Big Data)
•Maior precisão nos modelos
https://biodiversitapuglia.it/sfruttare-big-data-ricerca-sviluppo-agricoltura/
24
Deep Learning
•Aprendizado Supervisionado•Dados rotulados• Cálculo do gradiente da
função para minimizar o erro• Ajuste dos pesos
(backpropagation)
Dog
Dog
Cat
Deep Learning Network
input output
Deep Learning Network
input output
DogDog
Cat
Cat
A precisão do modelo está diretamente relacionado com a quantidade e qualidade dos dados de treinamento
25
Deep Learning (Rede Convolucional)
26
https://medium.com/@lamiae.hana/an-intro-to-convolutional-neural-networks-cnn-9f1c2d888fa1
Características?
Tensor
• Estrutura de dados primária utilizada em deep learning• Representa as entradas, saídas e transformações em uma rede
neural
27NVidia Tensor Core
Noise / Denoise
28
Nvidia Deep Learning Super Sampling (DLSS)
•Renderização pela Engine continua sendo em Full HD
• Imagens renderizadas são enviadas para a rede neural junto com vetores de movimento
29
Nvidia Deep Learning Super Sampling (DLSS)
30
Nvidia DLSS
31
Real Time Ray Tracing
33
Futuro
34
Referências
• [1] Avatar - The Computing power behind the movie – RenderNow
• [2] Phong, Bui. Illumination for Computer Generated Pictures. Graphics and Image Processing, 1975.
• [3] Haines, Eric; Möller, Tomas. Ray Tracing Gems. Apress, 2019.
• [4] Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review, 1958.
35
Como o Deep Learning Possibilitou o Ray Tracing em Tempo RealJose Ricardo da Silva Juniorhttp://www.josericardo-junior.com
