Como o Deep Learning Possibilitou o Ray Tracing em Tempo RealJose Ricardo da Silva Juniorhttp://www.josericardo-junior.com

jose.junior@ifrj.edu.br

Perfil• Professor Instituto Federal do Rio de Janeiro

(Eng. Paulo de Frontin)

• Coordenador de pesquisa, inovação e incubadora

• Áreas de pesquisa envolvendo HPC, Inteligência Artificial, Rendering e Jogos

2

Agenda Sistema de Renderização

Ray Tracing

Técnicas para Ray Tracing

Deep Learning

Uso do Deep Learning com Ray Tracing

3

Evolução

E.T. the Extra-Terrestrial – Atari (1982)

Cyberpunk 2077 – CD Projekt Red (2020)

4

Como Aumentar o Realismo?

Aumentar quantidade de

polígonos

Usar texturas de alta

resolução

Usar modelos de iluminação mais realistas

5

Game Techniques

6

Game Techniques

Environment Mapping

7

Usar Técnicas Aplicadas em Filmes?

•Qualidade dos filmes de Hollywood ainda necessitam de aproximadamente várias horas / quadro em um um sistema Multi-GPU [1]

8

Usar Técnicas Aplicadas em Filmes?

• Sistema de Física

• Atualização dos estados do

jogo

• Renderização

• Inteligência Artificial

Mínimo de 30 FPS = 33,3 ms

9

Mínimo de 60 FPS = 16,6 ms

Rasterização

• Reflexão baseado no modelo de Blinn / Phong [2]

•Modelo de iluminação que utiliza interpolação de cores ou normais

•Desconsidera iluminação indireta da da luz com outros objetos

10

Ray Tracing

•Modelo de iluminação fisicamente mais preciso

•Considera os raios refletidos e refratados

•Contribuição de iluminação indireta

• Sombras mais realistas (self-shadows)

11

Ray Tracing

12

Ray Tracing

•Processo muito custoso

•Requer muitos raios

•A qualidade da imagem gerada está relacionada com o número de raios primários e secundários gerados

13

Ray Tracing

14

Real Time Ray Tracing

•Arquitetura Turing (2019)

•Várias técnicas implementadas em GPU para aceleração de Ray Tracing

15

Intersecção de Raio16

Ray Tracing Híbrido

•Uso de iluminação por Ray Tracing somente em partes da cena que necessitam de mais detalhes [3]

17

Multi-Res Shading

18

RTX Pipeline

19

Já é Suficiente?

• Apesar de todas essas tecnologias, ainda não foi suficiente

• Dificilmente conseguimos resolução 4K com 60 FPS

• Quantidade limitada de raios (limitante da qualidade)

• Resolução 4K com Ray Tracing habilitado torna-se impossível, dependendo da cena

20

Aprendizado de Máquina

•Método de análise de dados que automatiza a construção de modelos analíticos

• Sistemas podem aprender com dados

• Solução para problemas que não possuem um formalismo teórico

21

Deep Learning

•Ramo do aprendizado de máquina que modelam abstrações em dados para extração de características

•Baseado em rede neural utilizando o neurônio matemático

•Utiliza várias camadas ocultas para processamento

https://www.institutodeengenharia.org.br/ 22

Deep Learning

•Baseado no Perceptron, desenvolvido em 1957 por Rosenblatt [4]

•Possui uma função de agregação (geralmente somatório)

• Função de ativação não linear e diferenciável

http://deeplearningbook.com.br/o-neuronio-biologico-e-matematico/23

Deep Learning

• Impulsionado pelo aumento do poder computacional

•Disponibilidade massiva de dados (Big Data)

•Maior precisão nos modelos

https://biodiversitapuglia.it/sfruttare-big-data-ricerca-sviluppo-agricoltura/

24

Deep Learning

•Aprendizado Supervisionado•Dados rotulados• Cálculo do gradiente da

função para minimizar o erro• Ajuste dos pesos

(backpropagation)

Dog

Dog

Cat

Deep Learning Network

input output

Deep Learning Network

input output

DogDog

Cat

Cat

A precisão do modelo está diretamente relacionado com a quantidade e qualidade dos dados de treinamento

25

Deep Learning (Rede Convolucional)

26

https://medium.com/@lamiae.hana/an-intro-to-convolutional-neural-networks-cnn-9f1c2d888fa1

Características?

Tensor

• Estrutura de dados primária utilizada em deep learning• Representa as entradas, saídas e transformações em uma rede

neural

27NVidia Tensor Core

Noise / Denoise

28

Nvidia Deep Learning Super Sampling (DLSS)

•Renderização pela Engine continua sendo em Full HD

• Imagens renderizadas são enviadas para a rede neural junto com vetores de movimento

29

Nvidia Deep Learning Super Sampling (DLSS)

30

Nvidia DLSS

31

32

Real Time Ray Tracing

33

Futuro

34

Referências

• [1] Avatar - The Computing power behind the movie – RenderNow

• [2] Phong, Bui. Illumination for Computer Generated Pictures. Graphics and Image Processing, 1975.

• [3] Haines, Eric; Möller, Tomas. Ray Tracing Gems. Apress, 2019.

• [4] Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological review, 1958.

35

Como o Deep Learning Possibilitou o Ray Tracing em Tempo RealJose Ricardo da Silva Juniorhttp://www.josericardo-junior.com

jose.junior@ifrj.edu.br