AURALambiente interativo aplicado à sonificação de trajetórias robóticas

2

Artemis MoroniDivisão de Robótica e Visão Computacional do Centro de Pesquisas Renato ArcherDRVC/CenPRA

Jônatas ManzolliNúcleo Interdisciplinar de Comunicação SonoraNICS/UNICAMP

ConsultoresDRVC/CenPRA Desenvolvedores

PIBIC/CNPq/CenPRAJosué Jr. Guimarães Ramos

Módulo Supervisor

Integração

Thiago Spina

Lucas SoaresRafael Maiolla

Sidney P. CunhaVisão Omnidirecional Igor Dias

Igor MartinsEliane Guimarães

Acesso remoto

ColaboradoresDRVC/CenPRA

Rubens MachadoHélio Azevedo

Douglas Figueiredo

OX

3

Motivação

A automatização visando produção tecnológica “criativa” é possível? Como “medir”, “avaliar”, esta produção? De que forma a

ciência e a tecnologia estão modificando os papéis do artista e da audiência? Como será criada, ouvida e apreciada a música

amanhã?

Machover (1996) acreditava que a prioridade mais elevada para as décadas seguintes seria criar as experiências e os

ambientes musicais que abririam as portas da expressão e da criação a qualquer um, em qualquer lugar, a qualquer momento.

A exemplo de outras instalações tais como ADA (Wassermann et al., 2003), EyesWeb (Camurri, 2000) ou Very Nervous

System (Rokeby, 1991), Roboser (Wasserman et al., 2000), Brain Opera (Machover, 1996), Foreseen Variations (Moroni et al.,

1991) ou Fractal Art (Moroni et al., 1989), no AURAL, instalação robótica interativa, possibilidades coreográficas, sonoras e visuais,

são apresentadas e disponibilizadas ao público, introduzindo-o a uma linguagem senão nova, ao menos incomum, e convidando-o a

ser mais do que apreciador, também co-criador e componente da obra.

4

O compositor e os robôs

5

AURALambiente interativo aplicado à sonificação de trajetórias robóticas

O AURAL propõe a construção de um ambiente sonoro-visual robótico interativo para a criação de “coreografias” para robôs

móveis. O resultado é um ambiente robótico interativo com as características do JaVOX (Moroni et al., 2004), aplicado à produção

sonora, sobre o qual o AURAL está sendo construído. No JaVOX, como no VOX POPULI, seu precursor (Moroni et al., 2000;

2002a), a computação evolutiva é aplicada à produção sonora. Uma área gráfica da interface interativa habilita o usuário a desenhar

curvas com o mouse, associando a elas trajetórias que guiam o processo de sonificação.

Abaixo, à esquerda, é apresentado um conjunto de curvas desenhadas por um usuário-compositor. À direita, a seqüência

sonora resultante das curvas desenhadas.

6

JaVox: ambiente evolutivo aplicado à produção sonora

A característica sonora de ambientes de composição baseados em computação evolutiva é descrever o processo de sonificação

através de populações de clusters e acordes, criando uma nova sonoridade a cada passo do processo.

No JaVox, a área gráfica da interface interativa está associada a um espaço conceitual sonoro. As curvas, percorridas a

pequenos intervalos de tempo, são associadas a parâmetros de controle. Dependendo da região na área gráfica aonde está

desenhada a curva, o resultado sonoro é diferente. Abaixo, é apresentada a interface do ambiente evolutivo JaVOX, aplicado à

produção sonora.

7

No AURAL, através de uma facilidade similar, as curvas são desenhadas na área gráfica da interface - pad interativo - e

transmitidas sob a forma de trajetórias para um robô móvel. A área gráfica está associada não apenas ao espaço conceitual sonoro,

mas também a um ambiente físico de dimensões 4m x 4m. As curvas são transmitidas para o robô móvel sob a forma de trajetórias.

PÚBLICO

visãoomnidirecional

Nomad

espaço estruturado

Roomba

O robô móvel percorre um espaço físico

associado a um espaço conceitual sonoro, de

acordo com uma trajetória aproximada à trajetória

recebida, e é observado por um sistema de visão

omnidirecional.

Outro(s) robô(s) percorre(m) livremente o

ambiente. O sistema de visão “observa” a trajetória

executada pelos robôs. A proximidade/afastamento

dos robôs modificam os parâmetros de controle de

performance, “disparando” diferentes efeitos

sonoros.

Ao lado, a planta do ambiente físico.

Câmeras e projetores podem ser acrescidos como

cenário.

8

O AURAL na DRVC/CenPRA

Abaixo, fotos do robôs da DRVC/CenPRA. Na foto maior, acima, o sistema de visão omnidirecional.

9

O Sistema de Visão Omnidirecional

À esquerda, detalhe do sistema de visão omnidirecional. Ao centro, imagem capturada com o espelho do laboratório da

DRVC/CenPRA, ambiente de desenvolvimento do projeto AURAL. À direita, trajetórias dos robôs observadas pelo espelho.

10

11

Arte, Tecnologia e Ciência

Nessa área emergente ligada à interatividade, arte e ciência crescentemente influenciam e fertilizam uma à outra.

Conceitualmente esta proposta se localiza dentro da área de Criatividade Computacional, sub-área da Inteligência Artificial, aplicada

à Computação Musical. Dado o caráter interdisciplinar da proposta, insere-se nas áreas de Arte, Aplicações à Distância, Robótica e

Visão Computacional.

No AURAL, através de traços simples desenhados numa interface gráfica, o usuário envia uma trajetória a um robô que, ao

se locomover, dispara um processo de produção sonora. A interação com outro(s) robô(s) movimentando-se livremente no ambiente

modifica a execução da seqüência.

Desta forma, ambiente e usuário exercitam a arTEbitrariedade que, como definida na tese de doutorado da pesquisadora

Artemis Moroni (2003; Moroni et al., 2002b) refere-se ao tratamento computacional da criatividade e à busca por formas automáticas

ou parcialmente automáticas de produção artística.

Submetido na modalidade “Apoio a Jovens Pesquisadores” à FAPESP (processo 05/56186-9), o AURAL configura uma

parceria entre a Divisão de Robótica e Visão Computacional do Centro de Pesquisas Renato Archer (DRVC/CenPRA) e o Núcleo

Interdisciplinar de Comunicação Sonora (NICS/UNICAMP). Está vinculado ao escopo do Instituto Virtual MusArtS/Ircam-Brasil.

Palavras chave: computação evolutiva; computação musical; criatividade computacional; instalações interativas; percepção

avançada; robótica.

12

Histórico

A arTEbitrariedade, como definida na tese de doutorado da pesquisadora Artemis Moroni (2003) refere-se ao tratamento

computacional da criatividade e à busca por formas automáticas ou parcialmente automáticas de produção artística. A

arTEbitrariedade utiliza-se de ambientes que aplicam técnicas de Computação Evolutiva e outras técnicas populacionais para busca

exploratória, nos domínios sonoro e visual. O conceito da arTEbitrariedade suscitou um conjunto de indagações e caminhos para a

pesquisa que culminaram com esta proposta, consoante com o estado da arte da pesquisa na área e calcada na experiência da

pesquisadora na construção de instalações interativas sonoras nos contextos artístico, tecnológico e científico. Tal experiência teve

início com a instalação Fractal Art, apresentada na 20ª Bienal Internacional de São Paulo, onde algoritmos fractais eram usados

para a geração de música em tempo real. Neste ambiente, a variação de luz na sala, ocasionada pelo trânsito das pessoas e

medida por sensores, era usada como parâmetro e interferia na composição sonora, de autoria do compositor Wilson Sukorski. Já

na instalação robótica interativa Foreseen Variations, apresentada na 21ª Bienal Internacional de São Paulo (Moroni et al., 1991;

1993), o robô Puma do Centro Tecnológico para Informática (antigo CTI, hoje CenPRA) executava coreografias programadas. O

ambiente robótico foi projetado e construído pelo Dr. Josué Ramos, na época chefe da Divisão de Robótica do CTI, com o apoio do

seu grupo. Neste ambiente, o robô Puma acompanhava músicas criadas com o auxílio do computador, compostas pelo compositor

José Augusto Mannis, professor do Departamento de Música da Unicamp. Com relação a este trabalho, Foreseen Variations, no

ano de 2005, ano do Brasil na França, Artemis Moroni foi convidada a enviar material sobre a instalação robótica para o catálogo do

@rt Outsiders Festival que aconteceu em Paris, dedicado à nova mídia arte brasileira.

Da instalação Foreseen Variations derivou a instalação robótica interativa Seres de Aurora (Moroni et al., 1992; 1993),

também projetada e construída pelo Dr. Josué Ramos e seu grupo. Esta instalação, apresentada no SESC Pompéia em São Paulo

(maio – julho, 1992), crianças atuavam como artistas e engenheiros, programando coreografias para o robô Puma, usando amostras

musicais do compositor José Augusto Mannis. No AtoContAto (Moroni et al., 1997; 1998), já numa parceria com o Prof. Dr. Jônatas

13

Manzolli, do NICS/Unicamp, foi desenvolvido um sapato eletrônico que, conectado a um computador, era usado numa performance

de sapateado que produzia sons eletrônicos. Também em parceria com o compositor Jônatas Manzolli foi desenvolvido o sistema

VOX POPULI), ambiente de computação evolutiva aplicado à produção sonora. O sistema VOX POPULI recebeu menção honrosa

no evento Dream Centenary Computer Graphics Grand Prix 99, em Aizu, Japão, na categoria instalação interativa (Moroni et al.,

2000; 2002a; 2002b). Os ambientes VOX POPULI e Art Lab, desenvolvidos durante a pesquisa de doutorado de Artemis Moroni,

foram integrados ao ambiente JaVox, apresentado na exposição Cinético_Digital, no Itaú Cultural (Junho – Setembro, 2005).

14

Referências

CAMURRI, A., HASHIMOTO, S., RICCHETTI, M., RICCI, A., SUZUKI, K., TROCCA, R., AND VOLPE, G. "EyesWeb: Toward Gesture

and Affect Recognition in Interactive Dance and Music Systems". Computer Music Journal, 24:1, pp.57-69, 2000.

MACHOVER, T. “The story of the Brain Opera”, http://brainop.media.mit.edu/libretto/todarticle.html, 1996.

MORONI, A. ArTEbitrariedade: uma Reflexão sobre a Natureza da Criatividade e sua Possível Realização em Ambientes Computacionais. Tese

de Doutorado defendida na FEEC/Unicamp orientada pelo Prof. Dr. Fernando José Von Zuben (DCA/FEE/Unicamp) e co-orientada pelo Prof.

Dr. Jônatas Manzolli (NICS/Unicamp), 2003.

MORONI, A., COHN, P., PAULA, M. R. S., RENTES, A., SAKODA, M., SUKORSKI, W. “Grupo *.*: Fractal Art”, Catálogo Geral 20ª

Bienal de São Paulo, Fundação Bienal de São Paulo, 1989.

MORONI, A., COHN, P., RAMOS, J., MANNIS, J. A., LAURENTIZ, S., RENTES, A., COSTA, L., COSTA, D., BOTTESI, C. “Grupo *.*:

Foreseen Variations”, Catálogo Geral 20ª Bienal de São Paulo, Fundação Bienal de São Paulo, Editora Marca d´Água, 1991.

MORONI, A., MANZOLLI, J., MATALLO, C., COSTA, L. “AtoContAto“, Catálogo da Mostra de Arte do X SIBGRAPI – Simpósio Brasileiro de

Computação Gráfica e Processamento de Imagem, 1997.

MORONI, A., MANZOLLI, J., MATALLO, C., “AtoContAto: new media performance for video and interactive tap shoes music”, Bristol,

England: Proceedings of ACM Multimedia, 1998.

MORONI, A., MANZOLLI, J., VON ZUBEN, F. J. & GUDWIN, R. "Vox Populi: An Interactive Evolutionary System for Algorithmic Music

Composition", Leonardo Music Journal, 10, pp. 49-54, 2000.

MORONI, A., MANZOLLI, J., VON ZUBEN, F.J. & GUDWIN, R. “Vox Populi: Evolutionary Computation for Music Evolution” em Bentley, P.

& Corne, D. (eds.) Creative Evolutionary Systems, San Francisco, USA: Morgan Kaufmann, pp. 205 - 221, 2002a.

MORONI, A., VON ZUBEN, F.J. & MANZOLLI, J., “ArTbitration: Human-Machine Interaction in Artistic Domains”, Leonardo, 35(2), pp. 185 –

188, 2002b.

MORONI, A., MANZOLLI, J., DOMINGUES, D. ArTbitrating JaVOX: an evolutionary environment for visual and sound composition,

Proceedings of International Conference Generative Art, Generative Design Lab, DIAP, Politecnico di Milano, 2004.

15

ROKEBY, D. Very Nervous System in the street in Potsdam, http://www.interlog.com/~drokeby/vns.html, 1991.

WASSERMAN, K., BLANCHARD, M., BERNARDET, U., MANZOLLI, J., VERSCHURE, P.F.M.J. Roboser - An Autonomous Interactive

Musical Composition System. Proceedings of the International Computer Music Conference, Berlin, Germany, pp. 531-534, 2000.

WASSERMAN, K., MANZOLLI, J., ENG, K. & VERSCHURE, P.F.M.J. “Live soundscape composition based on synthetic emotions: Using

music to communicate between an interactive exhibition and its visitors”, IEEE Multimedia, Vol.10, No. 4, pp.82-90, 2003.

16