Mesa Holográfica – Programa Bem Estar – TV GLOBO Vinicius Oppido – PUSHSTART Studio

Ricardo Benassi – TV GLOBO

Apresentação do projeto da Mesa Holográfica do programa Bem Estar da TV Globo, que permite a manipulação de

modelos 3D em tempo real pelos apresentadores

Objetivos de aprendizado

Ao final desta palestra você terá condições de:

Conhecer o estudo de caso de um projeto de inovação da TV Globo

Conhecer as etapas de desenvolvimento

Conhecer os resultados alcançados pelo projeto

Sobre o Palestrante

Vinicius Oppido é graduado em Desenho Industrial pela Fundação Armando Álvares Penteado - FAAP

(2001) e Master of Arts with Distinction in 3D Computer Animation pela Bournemouth University,

Inglaterra (2005). Bolsista do Programa ALBAN - Bolsas de Alto Nível para América Latina (Santander).

Vencedor do Anima Mundi 2006, categoria Melhor Primeira Obra com o curta-metragem "Propaganda".

Trabalhou de 1996 a 2014 na TV Globo onde, desde 2007 desenvolveu projetos focados em Inovação e

Computação Gráfica na área de Pesquisa e Desenvolvimento. Desde 2007, faz parte do corpo docente

da FAU-Mackenzie lecionando diversas disciplinas no curso de Design. Fundador da PUSHSTART

Studio, empresa de criação de conteúdos interativos.

Experiência:

Experiência na criação de conteúdo e produtos audiovisuais inovadores para diversas plataformas.

Contato: vinicius@pushstartstudio.com

Ricardo Benassi é graduado em Tecnologia da Informação pela Faculdades Integradas Radial de São

Paulo (2001) e PósGraduado em Computer Systems Networking and Telecommunications pelo Instituto

Nacional de Telecomunicações - Inatel (2010). Trabalha no TV Globo desde 2002 como Pesquisador de

Sistemas da TV Globo na área de Engenharia e Tecnologia atuando na coordenação de projetos na

área de Pesquisa e Desenvolvimento com foco em Grafismo e Efeitos Especiais, faz parte do corpo

Mesa Holográfica – Programa Bem Estar – TV GLOBO

2

docente do Instituto Mauá de Tecnologia lecionando a disciplina de "Novos conceitos de mídia - P&D" do

curso "Novas Tecnologias em Mídia" em parceria com a TV Globo.

Experiência:

Experiência na criação de sistemas de computadores com alta complexidade, coordenação e

implantação de sistemas críticos para uso "Ao Vivo".

Contato: ricardo.benassi@tvglobo.com.br

Inovação da TV Globo

O Setor de Pesquisa e Desenvolvimento (SPEDE) O Setor de Pesquisa e Desenvolvimento da TV Globo de São Paulo atua com a missão de

pesquisar, criar e desenvolver soluções criativas e tecnológicas para os clientes internos da TV Globo

(Jornalismo, Esporte e Entretenimento). O foco da área é a inovação em produtos visuais que possam

ser percebidos pelo telespectador. Alguns dos projetos desenvolvidos pelo setor são:

Telões Interativos (SPTV / Jornal da Globo) Cenário virtual da meteorologia do Jornal Nacional

Telemetria de diversos eventos como Maratonas, Provas de Ciclismo, Stock Car, etc...

Mesa Holográfica – Programa Bem Estar – TV GLOBO

3

Aplicativos interativos como o app do Campeonato Brasileiro

Etapas de desenvolvimento

O cliente O Bem Estar é um programa ao vivo que vai ao ar de segunda à sexta às 10h da manhã para

todo o Brasil. É apresentado por Mariana Ferrão e Fernando Rocha e fala sobre saúde e comportamento

de forma leve e descontraída.

Os apresentadores Mariana Ferrão e Fernando Rocha

O problema O Bem Estar utilizava uma grande estrutura de produção de arte para ilustrar, com modelos

reais, os assuntos tratados nas matérias diárias. Além do custo elevado, os modelos físicos tinham as

limitações do mundo real.

Mesa Holográfica – Programa Bem Estar – TV GLOBO

4

Como inovar, modernizar e baratear a produção dessas ilustrações, sem perder a espontaneidade e

descontração, características do programa ao vivo?

Os objetivos A nossa resposta à essa questão foi a criação de um sistema de realidade aumentada cujos

objetivos foram:

- A exibição de modelos 3D, substituindo os modelos reais, para ilustrar virtualmente os

assuntos;

- A mobilidade das câmeras dentro do estúdio;

- O fluxo de criação, produção e exibição das ilustrações integrado ao fluxo de produção do

Departamento de Arte;

- A continuidade da manipulação dos modelos pelos apresentadores.

O projeto O projeto SPEDE Augmented Reality logo ganhou o nome de Mesa Holográfica por questões

mercadológicas internas. Fica mais fácil vender o projeto de um produto que tem um nome mais “fácil”. O

nosso sistema não seria baseado em holografia, apenas daria a mesma sensação para quem estivesse

assistindo em casa.

Concept criado para vender o projeto internamente

Mesa Holográfica – Programa Bem Estar – TV GLOBO

5

No conceito, o produto seria uma mesa interativa onde os apresentadores pudessem colocar pequenos

objetos de verdade, que se transformariam em objetos virtuais. Esses modelos virtuais poderiam ser

controlados pelas interações dos apresentadores com a mesa. Também seria possível criar animações

para esses modelos, legendas de texto, uma janela para inserção de vídeos e gráficos de barra que

pudessem ser usados para ilustrar algum tema.

Concept mostrando objetos reais, no caso cartas, sobre a mesa e controles virtuais para interação dos apresentadores

Essa solução não é algo que pudesse ser conseguido no mercado, deveria ser desenvolvida

internamente. Na verdade, o que se buscava era um conjunto de diversas soluções integradas em um

produto:

- Era necessário render em tempo real pois o programa é ao vivo e não queríamos limitar as interações a

um conjunto de ações pré-definidas;

- Era necessário um sistema que monitorasse a movimentação da câmera e atualizasse o

posicionamento das artes (tracking), devido à dinâmica de movimentação das câmeras dentro do

estúdio;

- A criação e inserção dos modelos no sistema deveria ser rápida, pois o programa é diário e a Mesa

Holográfica poderia ser utilizada com frequência.

- A exibição do produto finalizado deveria ser composta por vídeo + key (alpha), inseridos sobre o vídeo

do programa.

Mesa Holográfica – Programa Bem Estar – TV GLOBO

6

Na pesquisa pelas soluções que pudessem ser integradas, optou-se pela utilização do UNITY como

sendo a Engine Real-Time para a renderização das artes. O UNITY também possui uma integração

bastante amigável com o Autodesk 3DSMax que a TV Globo utiliza em seu fluxo de produção de artes.

Panorâmica do cenário do programa Bem Estar

A parte de tracking da câmera foi resolvida com a criação de uma engine proprietária que transforma as

informações de um tripé da empresa SHOTOKU em informações calibradas e reproduzidas pela Engine

Real Time.

Quanto à agilidade, as artes são produzidas no Autodesk 3DSMax (modelagem, texturização, rigging e

animação), exportadas no formato FBX e depois importadas no Unity onde recebem novos shaders e

iluminação. Como a produção das artes continuou sendo feita no Autodesk 3DSMax, esse fluxo foi

facilmente absorvido pelo Departamento de Arte.

A maior preocupação era manter o Poly Count baixo, pois as artes feitas para TV não costumam ter esse

tipo de tratamento. Muitos dos modelos já produzidos e que foram reaproveitados para a Mesa

Holográfica, passaram por um processo de redução de polígonos.

A saída vídeo+key foi resolvida com a placa NVIDIA Quadro K6000 SDI contando com um

desenvolvimento de um plugin para Unity utilizando o NVidia SDI SDK pipeline.

A integração de todos essas soluções contou com o desenvolvimento de Dalton Machado e Murilo

Rovina na criação e desenvolvimento de 3 softwares:

SARed - Editor que permite ao artista preparar os grafismos, textos, vídeos e interações que

serão exibidos;

SARsur - Surface controlador por onde o apresentador executa toda interação necessária

SARp - Player que exibe em formato broadcast o resultado visual compondo tracking de câmera

e interações do apresentador.

Mesa Holográfica – Programa Bem Estar – TV GLOBO

7

Interface do software de exibição desenvolvido internamente pelo SPEDE/TV GLOBO

Esses softwares foram instalados no controle onde o programa é exibido, bem como em máquinas de

produção no Departamento de Arte e na Editoria do Bem Estar.

Por fim, o controle dos modelos 3D permaneceu nas mãos dos apresentadores que manipulam

pequenas peças de acrílico. Os controles possíveis são o reposicionamento, a rotação e botões de

animação. As peças de acrílico possuem uma tag na parte inferior, que é reconhecida pela mesa e

dispara a exibição do modelo virtual correspondente.

Exemplo das tags utilizadas

Foi criada uma padronização a partir das ID’s das tags para aqueles modelos com uso mais frequente,

como o corpo humano masculino e feminino com os respectivos sistemas. Dessa forma a própria editoria

do programa prepara quais modelos serão utilizados em uma determinada edição do Bem Estar.

Mesa Holográfica – Programa Bem Estar – TV GLOBO

8

Resultados do projeto

A MESA HOLOGRÁFICA estreou no prazo, junto com a nova grade da TV Globo, trazendo uma grande

inovação para o programa Bem Estar. O produto foi rapidamente absorvido, tanto na adoção pelos

apresentadores, no fluxo de produção do Departamento de Arte, quanto na sua utilização pela editoria

do programa.

O produto ficou fácil de ser utilizado, robusto em sua confiabilidade e versátil na sua aplicação. A editoria

do programa e o departamento de Arte logo encontraram outras formas de utilização que não haviam

sido planejadas inicialmente. Para a equipe de desenvolvimento, o projeto foi um sucesso pois integrou

diversas soluções em um produto que satisfez plenamente as necessidades de nossos clientes.

Atualmente a MESA HOLOGRÁFICA é utilizada diariamente e representa uma economia significativa

para a produção do show.