Animações em Tempo-Real de Fontes Virtuais Baseadas em um Sistema de Partículas para

Visualização da Estrutura Musical Real-Time Animations of Virtual Fountains Based on

a Particle System for Visualizing the Musical Structure

Joyce Horn Fonteles Maria Andréia Formico Rodrigues Victor Emanuel Basso Programa de Pós-Graduação em Informática Aplicada (PPGIA)

Universidade de Fortaleza (UNIFOR) Fortaleza-CE, Brasil

{hornjoyce, andreia.formico, vitorbasso}@gmail.com

Resumo—Apresentamos um sistema de partículas 3D e um algoritmo de mapeamento para gerar animações em tempo-real de fontes emissoras virtuais, coreografadas por música. Adicionalmente, incluímos dois exemplos diferentes de uso para demonstrar os aspectos principais do sistema, sua funcionalidade e viabilidade. Em particular, mostramos que é possível identificar diferentes padrões visuais que se encaixam em ambos os temas das composições musicais, como exemplos de como o sistema pode ser usado não somente para apreciação visual e entretenimento, mas também como uma ferramenta de suporte para percepção e composição musical. Além disso, conduzimos estudos com usuários para avaliar o sistema. Os resultados mostram uma forte relação entre a percepção de termos musicais e atributos visuais, além de fornecerem feedback positivo e útil sobre a eficácia das animações geradas.

Abstract—We present a 3D particle system and a mapping algorithm to generate real-time animations of virtual emitter fountains, choreographed by music. Adittionally, we included two different examples of use to demonstrate the main system’s aspects, its functionality and feasibility. In particular, we show that is possible to identify different visual patterns that match both the themes of the musical compositions, as examples of how the system can be used not only for visual appreciation and entertainment, but also as a support tool for music perception and composition. Furthermore, we have conducted studies with users to evaluate the system. The results show a strong relationship between the perception of musical terms and visual attributes, besides providing positive and useful feedback on the effectiveness of the generated animations.

Palavras-chave: Animação; Sistema de Partículas; Visualização; Estrutura Musical. Keywords: Animation; Particle System; Visualization; Musical Structure.

I. INTRODUÇÃO Virtualmente, muitas das formas de representação e análise

musical têm sido automatizadas, em diferentes níveis, por

métodos computacionais, técnicas e ferramentas [1]. Assim, o uso de tecnologias computacionais para a produção e análise musical tem se tornado cada dia mais comum entre pesquisadores da área da computação e compositores. Na realidade, a ciência musical tem avançado na construção de sistemas inovadores, usando computação distribuída, inteligência artificial, computação evolutiva, computação gráfica, realidade virtual e interfaces para controle gestual [2].

Atualmente, devido ao avanço crescente na área de computação, podemos rapidamente gerar representações virtuais de áudio e música [3]. Vários padrões geométricos em cenas virtuais têm sido usados para visualizar elementos musicais, formas e estruturas: diagramas de arcos [4], isocordas [5], barras [6], formas circulares [7], fractais randômicas [8], espirais [9], cilindros [10], objetos tridimensionais (3D) [11], etc. Por exemplo, muitos trabalhos criativos têm sido propostos usando sistemas de partículas 3D, principalmente, na criação de efeitos visuais em animação, tais como, nuvens, fumaça, líquidos e explosões [12].

Vale ressaltar que a área de visualização é uma das mais promissoras no auxílio da curva de aprendizado de uma audiência. No contexto deste trabalho, de uma audiência musical, principalmente, do público mais leigo, facilitando a compreensão da estrutura sofisticada de certas peças musicais, tais como, as composições clássicas, graças à grande habilidade cognitiva e visual do ser humano [3, 13]. Embora muitos esforços tenham se concentrado na visualização de características sônicas, somente algumas tentativas têm sido reportadas para a visualização dos elementos estruturais de uma composição.

Os desafios na visualização de uma estrutura musical residem no pré-processamento dos dados de entrada e no design de uma representação gráfica de qualidade satisfatória para a música. Em paralelo, o potencial de visualização de uma estrutura musical e de seus elementos visuais em 3D ainda não foi completamente explorado.

2014 XVI Symposium on Virtual and Augmented Reality

978-1-4799-4261-9/14 $31.00 © 2014 IEEE

DOI 10.1109/SVR.2014.35

170

2014 XVI Symposium on Virtual and Augmented Reality

978-1-4799-4261-9/14 $31.00 © 2014 IEEE

DOI 10.1109/SVR.2014.35

170

2014 XVI Symposium on Virtual and Augmented Reality

978-1-4799-4261-9/14 $31.00 © 2014 IEEE

DOI 10.1109/SVR.2014.35

171

Este trabalho estende [41] e explora algumas possibilidades de geração de animações 3D em tempo-real como uma extensão visual de performances musicais, através do mapeamento de cor, movimento, espaço e tempo para representar diferentes relacionamentos entre padrões visuais virtuais e peças musicais. Como a música pode ser descrita como uma coleção de sons altamente organizados, com estruturas variantes nos domínios tonais e temporais [14], a visualização dessas estruturas que formam o tema musical é um dos principais objetivos desse trabalho. Para tal, projetamos e implementamos um sistema de partículas 3D e um algoritmo de mapeamento para gerar animações em tempo-real de fontes emissoras de partículas virtuais, coreografadas pela música. A abordagem que usamos para traduzir e mapear a informação de controle em animações é também detalhada, bem como o processo para construir o modelo físico das fontes emissoras de partículas. Adicionalmente, incluímos dois exemplos de uso distintos para demonstrar os aspectos principais do sistema, sua funcionalidade e viabilidade, usando o tema principal de abertura da série televisiva Game of Thrones e de uma peça musical clássica, a 5a. Sinfonia de Beethoven. Em particular, mostramos que é possível identificar diferentes padrões visuais que se encaixam perfeitamente em ambos os temas das composições musicais, como exemplos de como o sistema pode ser usado não somente para apreciação visual e entretenimento, mas também como uma ferramenta de suporte para percepção e composição musical. Além disso, conduzimos estudos com usuários para avaliar o sistema. Os resultados obtidos mostram uma forte relação entre a percepção de termos musicais (altura tonal, volume e timbre) e atributos visuais (cores, tamanho e emissor), respectivamente, além de fornecerem feedback positivo e útil sobre a eficácia das animações geradas.

II. TRABALHOS RELACIONADOS Uma variedade de animações por computador que estimulam a imaginação virtualmente para um certo momento musical tem sido proposta em resposta à força, tempo, ritmo, afinação, etc.

Kubelka, por exemplo, descreve um protótipo de uma aplicação para visualização musical, consistindo em três unidades principais: analisador de som, módulo de visualização e editor da cena [15]. Similarmente ao nosso trabalho, um sistema de partículas é usado para modelar uma fonte emissora que expressa a dinâmica e o sentimento (ou humor) da música (triste, animado, agressivo, relaxante, etc.). No entanto, o visualizador exibe poucas características de percepção de áudio digital e nenhum resultado ou prova de conceito que demonstre a viabilidade da aplicação. Vale enfatizar que o humor da música é uma característica difícil de ser mapeada e, mais importante ainda, de ser avaliada.

A análise da expressão musical de uma composição, por exemplo, torna possível prever as emoções e a expressividade musical de uma peça. Os dados extraídos podem ser mapeados em cores e formas para serem utilizados, por exemplo, na criação de um mecanismo de visualização de uma expressividade musical. Este tipo de visualização está se tornando uma ferramenta pedagógica interessante para estudantes de música e o uso de algoritmos para a extração de

dados musicais tem se tornado relativamente comum, mesmo para a música polifônica [16].

Entre os parâmetros mais comuns de extração, podemos citar o tom de uma nota, o momento em que é tocada e seu respectivo volume [17]. Alguns trabalhos descrevem o processo de extração de certos parâmetros de uma performance musical. Outros, apresentam modelos matemáticos baseados em valores de tempo e freqüência para a síntese e análise musical [18], ou mesmo, a extração em tempo real de uma expressão musical a partir de um som.

Alguns trabalhos focam no mapeamento da cor em som e vice-versa [5, 19]. Nos domínios de computação musical e som, análises de elementos sonoros e musicais têm sido realizadas a partir da extração de arquivos do tipo Musical Instrument Digital Interface (ou MIDI) e de ondas sonoras [6, 11, 20]. Alguns desses esforços incluem o desenvolvimento de sistemas para visualização musical que capturam automaticamente e exibem estruturas visuais virtuais na forma de animações, possibilitando que as pessoas visualizem e entendam melhor, os padrões tonais ouvidos.

Smith e Williams descrevem um trabalho que apresenta uma série de paralelos com o nosso [21], incluindo o uso de componentes OpenGL e MIDI. Mais especificamente, os autores desenvolveram um programa que analisa arquivos de dados MIDI, usados para gerar representações gráficas 3D, através da aplicação de uma função de mapeamento que transforma os dados de música em objetos 3D. No entanto, as estratégias de mapeamento empregadas são bastantes diferentes das nossas, bem como a cena 3D virtual modelada, a qual é simplificada, constituída somente por um pequeno número de esferas. Outros autores [20, 27] apresentam um esquema de mapeamento semelhante ao proposto por Smith e Williams [21]. Mais especificamente, Hiraga et al. desenvolveram um sistema no qual cilindros coloridos são usados para representar notas individuais, sendo que os diferentes canais MIDI da peça musical são empilhados ao longo do eixo z [20]. A altura do som é mapeada para o eixo y, o volume para o diâmetro do cilindro e o tempo para a saturação da cor do cilindro. Enquanto a música toca, um plano de verificação, ortogonal a essas camadas, move-se da esquerda para a direita, permitindo que o usuário observe como as notas na cena correspondem à música ouvida. Dickie desenvolveu uma nova aplicação como um ambiente no qual os usuários com background musical variado podem criar músicas, esculpindo objetos 3D cujas características espaciais são mapeadas para parâmetros de aúdio [27].

A família de aplicações de Max (Max/MSP/Jitter [23] e PureData [24]) são escolhas populares para compor obras interativas de mídia digital, implementando uma arquitetura visual de fluxo de dados, através de uma interface modular e flexível. Contudo, o ambiente de visualização apresenta algumas limitações [23]. Por exemplo, se concentra na representação visual do processo de interconexão (o qual dificulta o uso de estruturas de dados mais avançadas, de gráficos dinâmicos e do fluxo de controle processual); a maioria dos nós do processador são do tipo “caixa preta” (a qual limita a granularidade do controle de processos); e quantização de taxa de bloco de controle de áudio, a qual

171171172

fornece um processo separado de agenda de processos e semântica para controle e áudio, também do tipo “caixa preta”. Em sua versão comercial, há também várias limitações impostas com relação a arquivos de áudio e MIDI. Outros produtos comerciais também têm sido desenvolvidos para visualizar estruturas musicais, tais como: TimeSketch [25], MusicAnimation Machine [26], Hyperscore [27], etc.

Malinowski também usou arquivos MIDI para mostrar que uma partitura musical pode ser entendida de uma forma intuitiva por qualquer pessoa, sem a necessidade de anos de treinamento e estudo convencional de música, estabelecendo, desta forma, uma importante conexão entre a notação musical estática da marcação e os movimentos dinâmicos de uma música [28]. Chew e François desenvolveram um sistema interativo multimodal para a análise e visualização musical usando a entrada de uma performance ao vivo, em tempo-real e no formato MIDI, que revela estruturas musicais, como variação de tons, cordas e teclas [9].

Outros trabalhos mais recentes vêm explorando as várias formas de representação visual da música e de seus elementos principais [42, 43, 44, 45].

Infelizmente, o problema com a maioria destes sistemas é a falta de extensibilidade ou o fato de alguns serem comerciais, dificultando que trabalhos existentes sejam utilizados sistematicamente e estendidos, além da ausência de apresentação de provas de conceito e estudos com usuários que demonstrem a viabilidade e a utilidade das abordagens implementadas.

III. VISÃO GERAL DO SISTEMA

A. Design e Requisitos Funcionais O princípio básico foi criar um sistema genérico e

modular, evitando decisões de design que vinculariam o sistema a variáveis musicais específicas como, por exemplo, o número de notas simultaneamente tocadas, etc. Além das vantagens de simplicidade e generalidade, a modularidade do design também facilita a substituição dos componentes do sistema com implementações alternativas. Assim, um conjunto de requisitos foram formulados para o nosso sistema: o protótipo deveria prever a realização de análises exaustivas de som, a gestão e manipulação de grande quantidade de dados e a geração de animações por computador para serem exibidas em sincronia com a música. A escolha de um sistema de partículas para esta representação virtual foi decorrente de sua simplicidade geométrica, fluidez e dinâmica dos seus elementos, que apresentam uma grande e rica variedade de comportamentos, características estas fundamentais, uma vez que uma obra musical apresenta nuances sutis, interpretações estilísticas e diferentes padrões estruturais.

Sistemas de partículas são representações 3D compostas por um conjunto de partículas elementares que têm um ciclo de vida. Cada uma dessas partículas tem seus próprios atributos de visualização, tais como, posição, cor, tamanho, etc., os quais evoluem com o tempo. Uma das principais vantagens dos sistemas de partículas em relação às técnicas tradicionais é a capacidade para reagir, de forma dinâmica, a uma mudança nos

seus parâmetros ou a uma modificação do meio ambiente [29]. Entre estes parâmetros, definimos uma partícula como uma estrutura que contém: tamanho, cor, trajetória (posição e velocidade), idade, massa, aceleração, método de processamento e tempo de vida útil [30]. Também concebemos emissores de partículas virtuais (fontes contínuas de partículas ao longo do tempo) para criar alguns efeitos visuais mais elaborados. No sistema que implementamos, as partículas estão sujeitas à força da gravidade. O tempo de vida útil é usado para limitar o número total de partículas ativas durante a animação.

B. Mapeamento da Aparência Visual É improvável que haja uma forma única perfeita para o mapeamento visual de uma música, capaz de combinar todos os efeitos desejados e contextos, tendo em vista a natureza individual da interpretação e apreciação musical.

Desta forma, considerando-se que a música clássica tem uma estrutura bem definida e bastante variável ao longo do tempo, optamos por gerar um certo número de partículas nos emissores virtuais. Este processo cria fluxos de partículas que evoluem com o tempo, os quais podem ser visualizados interativamente pelo nosso sistema visual. Estes elementos gráficos são intuitivos e não interferem entre si, quando combinados para formar a visualização completa de uma composição musical. Adicionalmente, o uso de diferentes tamanhos de partículas pode levar à geração de efeitos visuais menos custosos, quando comparados a outras formas 3D e outras técnicas de renderização. Cada emissor virtual atua como uma possível fonte de partículas e tem vinculado a ele um conjunto de parâmetros que governam o comportamento das mesmas. Uma escala, relativa ao tempo, altera as propriedades visuais da partícula durante a sua vida, por exemplo, a sua cor, um aspecto essencial da forma como visualizamos o mundo.

A primeira idéia de relacionar pinturas e suas cores a notas musicais não é nova, porém, trata-se de um tema atual e ainda em aberto. Na verdade, a idéia data do século XVIII, quando Isaac Newton associou a cada uma das sete cores que ele observou na luz prismática, com as sete notas da escala harmônica [31]. Outros artistas como Castel, Bainbridge e Rimington também criaram seus próprios mapeamentos entre cores e notas [32]. A idéia de relacionar notas da escala musical a cores variadas tem sido assunto recorrente ao longo dos séculos. Conforme descrito por Collopy [31], além de sua óbvia arbitrariedade, essas escalas não levam em conta o quão diferente percebemos a informação visual e o áudio: um padrão que apresenta som harmonioso, não necessariamente é harmonioso visualmente.

Diferentemente de outros trabalhos, a versão atual de nossa implementação usa um mapeamento de cores desenvolvido por Louis Bertrand Castel em 1734 [33] (exibido na segunda linha da Figura 1). O modelo de Castel foi escolhido porque estabelece cores diferentes para cada uma das doze notas musicais existentes, gerando cores transitórias de um jeito similar às notas musicais. Adicionalmente, diferenciando-se do modelo de Newton (exibido na primeira linha da Figura 1), o qual não considera os acidentes de semi-tons, tais como bemóis (que causam a diminuição de meio tom em uma nota) e sustenidos (que causam o aumento de meio tom em uma nota).

172172173

Associamos então cada nota musical, de acordo com os estudos de Castel, à uma cor específica, exibida na posição de cada partícula individual ao tocar de cada nota (Tabela 1).

Figura 1. Mapa de cores e tonalidades de modelos representativos de mapeamentos de cor para cada nota musical (extraído de [31]).

TABELA I. MAPEAMENTO DE CORES DO PROTÓTIPO DESENVOLVIDO USANDO O MODELO DE CASTEL

NOTA COR NOTA COR

C Azul F# ou Gb Laranja C# ou Db Azul-Verde G Vermelho

D Verde G# ou Ab Carmesin D# ou Eb Verde Oliva A Violeta

E Amarelo A# ou Bb Azul-Violeta F Amarelo-Laranja B Azul Índigo

C. Implementação O protótipo do sistema que implementamos foi desenvolvido usando a binding de OpenGL para Java. A linguagem Java ainda tem sido amplamente usada no desenvolvimento de aplicações musicais, devido à sua portabilidade e facilidade de aprendizagem, incluindo as bibliotecas JavaSound. A API Java Sound é uma API de baixo nível para efetuar e controlar a entrada e a saída dos meios de comunicação de áudio. Esta fornece não só o controle explícito sobre as capacidades, normalmente exigidas para entrada e saída de áudio, em um framework que promove extensibilidade e flexibilidade, gerando aplicações que geralmente não consomem muita CPU. Um arquivo MIDI é então usado como dado de entrada. Basicamente, a API Java Sound pode ser usada para controlar a reprodução e captura de áudio, a síntese de dados MIDI e o seqüenciamento MIDI básico. A Java Jmusic API [34] pode reproduzir o som, diretamente usando essas bibliotecas. Além disso, fornece um sólido framework para a composição assistida por computador em Java e para a música generativa (aquela que está sempre diferente e em constante mudança, sendo criada por um sistema), construção de instrumentos, performance interativa e análise musical.

No início da animação, novas partículas são produzidas por fontes emissoras. O tamanho da partícula é um número ponto flutuante, que representa o espaço ocupado por ela. A sua cor é uma estrutura com 4 componentes contendo os valores RGBA (vermelho, verde, azul e alfa). Inicializamos as cores das novas partículas e atualizamos todas elas, a cada novo quadro da animação. A cor atual de uma partícula corresponde a uma interpolação linear entre as cores iniciais e finais, na qual a cor inicial é a cor atribuída no seu nascimento e a cor final é a atribuída quando da sua morte. Definimos a trajetória de uma partícula (especificada por uma posição e uma velocidade), como um conjunto de estados sucessivos, cada estado dependente do estado anterior. Assumimos um intervalo de tempo constante �t, entre dois estados sucessivos. A idade de uma partícula e a sua vida útil são extensivamente usados por muitos métodos do sistema (tamanho, cor, trajetória, etc.). Usamos a idade da partícula como uma variável de decisão

para definir a sua morte. Nos emissores de partículas virtuais definimos uma taxa de emissão constante (um número inteiro de partículas lançada em um determinado intervalo de tempo) para simular um fluxo. Para cada emissor, dado o número de partículas n emitido por segundo e o intervalo de tempo �t entre o quadro atual e o seguinte, o número de partículas emitidas neste quadro é n x �t. Contudo, �t é um número decimal, enquanto n é um inteiro. Então, inspirados por [34], primeiro calculamos o número decimal de partículas a serem emitidas e adicionamos esse número a um acumulador de ponto flutuante, o qual mantém traços de todas as partes decimais das partículas a serem emitidas. Assim, o número de partículas lançadas no quadro corrente corresponde à parte inteira do acumulador e, a restante, à parte decimal (a qual será usada no quadro seguinte da animação).

Um intervalo que representa o tempo de vida da partícula define o tempo mínimo e máximo, em segundos, de sua duração. Portanto, as partículas que excedem os seus respectivos tempos de vida são excluídas. Em seguida, as propriedades das partículas restantes são atualizadas de acordo com um processo de controle (seus tempos de vida são decrementados e suas posições e atributos visuais são atualizados). Finalmente, as partículas são renderizadas.

Durante a animação, as partículas movem-se para cima, a partir de um ponto inicial de emissão, espalhando-se em um ângulo, como se fosse uma fonte [35]. A força da gravidade é implementada de uma forma simples e tradicional, adicionando-se um valor negativo e constante ao vetor força, na direção y. É aplicada de uma vez a cada partícula, somando-se todos os valores e acumulando o resultado em um vetor resultante, o qual é adicionado à aceleração de cada partícula. Dimensionamos também o efeito da gravidade de acordo com a massa da partícula. Isso simula o efeito da resistência do ar e produz uma visualização mais realista das fontes emissoras de partículas, coreografadas pela música.

Partículas são capazes de evoluir de forma suave e natural. Embora seus atributos de movimento sejam representados por equações diferenciais ordinárias (EDOs), seus comportamentos físicos não envolvem uma matemática complexa. A fim de movimentar uma partícula, é necessário que, em cada passo de animação, os atributos visuais relacionados à sua dinâmica, representados por vetores 3D sejam recalculados. Na versão atual do sistema, o método tradicional de Euler é usado para resolver a EDO que define a posição de uma partícula no próximo instante de tempo [36], movendo um passo na direção da derivada da função. Quanto menor for o tamanho do passo, mais precisa será a aproximação, porém, exigirá um custo computacional maior. Apesar destas limitações, a escolha do método de Euler justifica-se pela sua simplicidade, baixo custo computacional e pela geração de resultados com bom nível de precisão. O estado do sistema é então atualizado para o próximo instante de tempo, dado pelo intervalo de tempo entre o quadro atual da animação e o próximo a ser gerado. No caso dos atributos visuais, estes são diretamente controlados pelo mapeamento existente entre eles e as variáveis musicais analisadas. No protótipo, o renderizador define os métodos que acessam a biblioteca gráfica, os quais são responsáveis pela visualização do sistema.

173173174

D. Extração de Características Musicais Através de Arquivos MIDI

Inspirados pela idéia de Malinowski [28], construímos um protótipo de um sistema usando um arquivo MIDI preciso que ilustra uma variação da notação musical tradicional para ser usada por pessoas com ou sem nenhum treinamento formal de música. Além disso, cada mensagem extraída de um arquivo MIDI contém uma série de parâmetros musicais já estabelecidos, evitando-se a necessidade de processamento da maioria dos dados requisitados [37]. Em particular, quando uma nota é tocada, podemos extrair três variáveis: altura tonal, volume e timbre. Em nosso sistema de partículas, esses três termos musicais são atribuídos aos seguintes atributos gráficos de visualização 3D: (1) a altura tonal determina qual cor será usada para pintar cada partícula (cores escuras e claras têm efeitos comparáveis aos tons musicais baixos e altos, respectivamente; as cores escuras são sonoras e fortes, enquanto as cores claras são flutuantes e fracas) [38]; (2) o volume é representado pelo aumento do tamanho das partículas; e (3) o timbre caracteriza qual instrumento emitiu uma nota musical específica, sendo representado por um emissor de partículas virtuais 3D.

Para capturar as mensagens enviadas, também foi necessário estabelecer as linhas de entrada e saída de dados MIDI, criando um sintetizador encarregado de tocar, de forma eficaz, as notas. Cada evento MIDI que atinge o sequenciador é analisado: no caso de uma mensagem Note-on, as três variáveis são extraídas, mapeadas e enviadas ao renderizador para atualizar os atributos visuais das partículas; e, no caso de uma Note-off, a animação é encerrada, uma vez que o som deixa de existir. As mensagens de Note-on e Note-off são seguidas por dois bytes: o primeiro informa a altura tonal da nota e o segundo informa o seu volume. A velocidade é o termo que usamos para definir a intensidade do toque: se o toque for forte, a velocidade é alta, conseqüentemente, o som é muito intenso; contudo, se o toque for fraco, a velocidade é baixa, ou seja, o som não é muito intenso.

Como a entrada de dados é um arquivo pré-existente, o sistema extrai todos os dados MIDI dos eventos Note-on e Note-off e os coloca em uma lista seqüencial, incluindo: o timestamp, ou seja, uma seqüência de caracteres que indica o momento no qual um determinado evento ocorreu, para cada nota tocada; seu respectivo canal, através do atributo channel; sua altura tonal, determinada pelo atributo pitch; e o volume, representado pelo atributo velocity, que indica a força usada para tocar a nota [17]. A partir destes dados, é necessário capturar uma mensagem que indica o término da música, representada por um evento de controle chamado MetaEvent.

O próximo passo é mapear cada evento de nota tocada para os seus respectivos efeitos visuais. O canal no qual cada nota é tocada estabelece qual emissor é responsável pela emissão de partículas que correspondem a esse som específico. Quando há apenas um instrumento tocando em uma música, não há problemas para executá-la através de um arquivo MIDI, no entanto, nos casos em que vários instrumentos estão tocando simultaneamente, é necessário estabelecer um canal diferente para cada instrumento. Há um padrão definido de distribuição dos instrumentos nos canais [39].

Quanto ao volume de um som, outros dois tipos de mensagens merecem destaque: Aftertouch ou Channel Pressure e Key Aftertouch ou Polyphonic Channel Pressure; uma vez que o volume pode determinar alterações nestes e em outros atributos sonoros, como ressonância, vibrato, etc. O último tipo de mensagem MIDI considerado neste trabalho é o Pitch Bend ou Bender, o qual representa uma alteração de afinação em uma nota. Esta mensagem pode ser reconhecida por quase todos os instrumentos musicais eletrônicos, exceto a bateria (porque não apresenta altura tonal). Uma vez que o ouvido humano é muito sensível a alterações de afinação, a mensagem Pitch Bend é seguida por dois bytes, sendo o primeiro mais significativo do que o segundo.

IV. EXEMPLOS DE USO A forma mais comum para o aprendizado de música é através do estudo de uma partitura musical, a qual contém notações objetivas de uma composição musical. No entanto, os novatos na área gastam um tempo considerável para aprender as noções básicas de teoria musical, antes de serem capazes de entender essas notações e, conseqüentemente, dominarem uma partitura musical, particularmente, uma peça clássica. Além disso, as pessoas menos treinadas somente são capazes de perceber alguns elementos do som (afinação, ritmo, volume e velocidade), enquanto que as pessoas que receberam treinamento extensivo em teoria musical e história, geralmente, conhecem a estrutura real e a forma da música [3, 13]. Portanto, para os exemplos de uso do sistema escolhemos uma peça tradicional (música clássica) e uma contemporânea, ambas conhecidas mundialmente, cujas respectivas curvas de aprendizado são bastante altas e complexas.

A. Os temas O tema, particularmente no Ocidente, é o principal conceito desenvolvido ao longo de uma peça musical, sendo tipicamente integrado a várias passagens da música e capaz de variar em sua extensão. Em nossos exemplos de uso, escolhemos como objetos de estudo: (1) a música de abertura da série televisiva Guerra dos Tronos (Game of Thrones Theme - Main Title, composta por Ramin Djawadi), em um arranjo reduzido para quarteto de cordas (primeiro e segundo violinos, viola e violoncelo), possuindo um tema bastante distinto e padrão melódico que se repete com frequência, implicando também na repetição dos padrões visuais do sistema; e (2) o primeiro movimento da 5a. Sinfonia de Beethoven, transcrita também para um quarteto de cordas, por ser uma das composições mais conhecidas e executadas no mundo.

Em peças tradicionais, as melodias costumam ser tocadas pelo primeiro violino, recaindo sobre os demais instrumentos uma função harmônica e, em especial ao segundo violino, a função de contraponto. No caso do primeiro exemplo de uso (Game of Thrones Theme), a escolha por uma peça contemporânea é enriquecedora para melhor ilustrar a forma como arranjos atuais estão sendo feitos, retirando do primeiro violino esta responsabilidade exclusiva. Em particular, ao analisar a partitura desta peça, nos deparamos com uma dificuldade considerável: na partitura, as notas de cada instrumento são escritas em claves diferentes em virtude de possuírem registros distintos (extensão da nota mais grave à mais aguda que tocam), evitando que o posicionamento das

174174175

notas no pentagrama seja muito extremo. Como a linha melódica dos violinos é escrita em clave de sol; da viola, em clave de dó; e do violoncelo, em clave de fá; há uma dificuldade em analisar quando estes instrumentos estão tocando as mesmas notas (em uníssono ou oitavas), ou qual a relação entre as notas tocadas individualmente por esses instrumentos.

No segundo exemplo de uso (5a. Sinfonia de Beethoven), nos concentramos no primeiro movimento ou motivo, comumente considerado como a assinatura da sinfonia. Mais especificamente, este motivo funciona como uma estrutura unificadora durante toda a peça musical, tanto na forma rítmica quanto melódica, sendo repetida constantemente, transposta (isto é, sua altura é movida para cima ou para baixo, durante um intervalo de tempo) e executada por diferentes instrumentos. Desta forma, define os parâmetros fundamentais ou elementos da peça.

B. Modelagem Visual A seleção de atributos visuais e seu uso adequado devem traduzir a qualidade dinâmica que a música escolhida oferece. Portanto, é importante criar uma modelagem visual que permita ao usuário manter-se focado e envolvido com os componentes visuais da performance. Mais especificamente, modelamos quatro emissores de partículas virtuais para representar um quarteto de cordas, a forma mais popular da música de Câmara, composta por dois violinos, uma viola e um violoncelo. Estes instrumentos musicais são posicionados como em uma orquestra, sendo que os instrumentos mais agudos e com maior altura tonal estão posicionados à esquerda e os mais graves e com menor altura tonal, à direita, como mostra a Figura 2.

Figura 2. Arranjo de um quarteto de cordas na Orquestra de Câmara.

Geramos então as animações correspondentes, no primeiro exemplo, composta por 2340 quadros e, no segundo, por 472 quadros. Essas animações estão disponíveis nos seguintes endereços, respectivamente: http://youtu.be/bmIsMGicw0A e http://youtu.be/W-dS4Zz28xE.

Uma vez que cada nota tem um timestamp específico, foi possível usar essa informação na sincronização dos quadros-chaves das animações. No entanto, para tal, tivemos primeiro que converter os ticks de um evento MIDI para quadros das animações, como mostra a Figura 3, relativa ao primeiro exemplo de uso. Inspirados pela solução proposta por Bain [40], usamos um alinhamento entre os quadros visualizados e o ticks do MIDI, um fator crítico para a sincronização entre a música e sua visualização, de tal forma a satisfazer nosso objetivo de criação de dados para os quadros-chaves.

Nesse contexto, no primeiro exemplo de uso (Game of Thrones), como saber se ambos os violinos estão tocando, já que possuem o mesmo timbre? Em caso afirmativo, os violinos tocam as mesmas notas? Em caso negativo, qual a relação entre essas notas? Segundo uma especialista em música, a representação visual do nosso sistema de partículas (Figura 4) auxilia também neste aspecto, pois permite visualizar as notas através de cores (e não a partir da altura em que se encontram em um pentagrama de partitura). Em particular, na Figura 4 (lado esquerdo), os violinos e a viola, apesar de terem notações diferentes na partitura, possuem representações visuais semelhantes na animação. Além disso, afirma ser possível também observar o caminhar do tema desta peça musical, a qual é conduzida, em muitos momentos, apenas por um instrumento (o violoncelo na primeira animação); e em outros, por dois instrumentos, em combinações distintas. Na Figura 4 (lado direito), exibimos o tema sendo tocado pelo primeiro violino e viola. Observamos na partitura, as notações diferentes dos instrumentos, porém, na animação gerada, uma representação visual semelhante, na qual o segundo violino está em pausa e o cello está exercendo a função de base tonal.

Figura 3. Exemplo de arquivo MIDI, contendo as três variáveis básicas de uma nota: altura tonal, volume e timbre. Os canais/instrumentos, notas e durações são mostrados.

A especialista acrescenta ainda, que através da animação conseguimos uma melhor compreensão das pausas e das respirações entre as frases melódicas (Figura 5), pois há interrupção no fluxo de geração de partículas no emissor relativo ao primeiro violino. Podemos também perceber um acidente (nota não esperada dentro de uma seqüência tonal, representada por uma cor que não aparece comumente na animação) na alteração da cor verde oliva para amarelo no emissor de partículas da viola. Além disso, observamos a mudança de expressão (volume) de uma nota, denotada em partitura por letras que representam expressões em italiano e, na animação, pela alteração no tamanho das partículas, geradas pelo emissor do segundo violino.

175175176

No segundo exemplo de uso (5a. Sinfonia de Beethoven), a mesma especialista afirma ser também possível identificar quadros nos quais todos os emissores têm as mesmas cores, indicando que os instrumentos tocaram uma nota em uníssono (lado esquerdo da Figura 6), e quadros onde os emissores apresentam um claro comportamento individual, com diferentes cores e momentos de geração de partículas, representando as figuras musicais de altura tonal, ritmo e pausas (lado direito da Figura 6).

Figura 4. Comparação de duas passagens musicais do tema de abertura da série televisiva Game of Thrones e seus respectivos

quadros da animação.

Figura 5. Quadro da animação que representa elementos de fraseado, acidentes melódicos e dinâmica musical, referentes ao primeiro

exemplo de uso.

Adicionalmente, é possível identificar quadros onde dois ou mais emissores lançaram partículas com um conjunto igual de cores, porém, em reverso (como o mostrado no lado esquerdo da Figura 7), indicando que o 2o. violino e a viola tocaram melodias em reverso. O diagrama central da Figura 7 mostra que os emissores que geraram partículas mais coloridas representam instrumentos que executaram, mais rapidamente, um maior número de notas. O diagrama do lado direito da Figura 7 mostra partículas maiores, claramente indicando que o som nesses trechos foi tocado de forma mais intensa e com um volume maior.

Na prática, a melodia pode sofrer alterações ou repetições, no decorrer da música. Nesse trabalho, o uso de emissores de partículas arranjados como um quarteto de cordas ilustra claramente estas mudanças que ocorrem em ambos exemplos de uso. Os comportamentos de cada partícula, em conjunto com os storyboards das animações, traduzem uma porção das histórias contadas pelas músicas, de uma forma visual simples e eficaz, particularmente, para as pessoas com pouco ou nenhum conhecimento musical.

Figura 6. Comparação de duas passagens musicais da 5a. Sinfonia de Beethoven e seus respectivos quadros da animação.

Figura 7. Comparação de três passagens musicais da 5a. Sinfonia de Beethoven e seus respectivos quadros da animação.

A presença dos respectivos temas é facilmente percebida através dos padrões visuais que são estabelecidos, por exemplo, ilustrados nos momentos nos quais as partículas começam e páram de ser produzidas, nas suas alterações de cor e nas suas mudanças de tamanho. Estes padrões se repetem cada vez que os ouvimos. Além disso, nos auxiliam a estabelecer a idéia central das peças e a perceber a forma musical seguida por eles, através de um instrumento, conseqüentemente, através de seus respectivos emissores de partículas, os quais executam estes padrões em um dado momento. Em particular, percebemos que os padrões visuais

176176177

que se auto-repetem unificam as animações por computador, como os temas unificam cada uma das peças musicais.

V. AVALIAÇÕES COM USUÁRIOS Nosso sistema para visualização musical foi ainda avaliado por três grupos distintos de usuários: uma audiência sem conhecimento musical, por estudantes de música e por profissionais de uma orquestra. Um mesmo estudo com todos os usuários foi realizado para quantitativamente avaliar o sistema, com especial atenção aos diferentes níveis de experiência dos usuários e, particularmente, às opiniões e reações da audiência sem conhecimento musical. Formulários foram preenchidos por todos os participantes, desta vez, focando no grupo de estudantes de música e profissionais para coletar seus feedbacks qualitativos sobre as visualizações geradas.

A. Método Uma animação foi criada para este estudo, a mesma descrita no segundo exemplo de uso (5a. Sinfonia de Beethoven), na Seção IV. Trinta e três participantes com uma experiência musical variada foram selecionados e divididos em três grupos: Grupo1, Grupo 2 e Grupo 3. Mais especificamente, o Grupo 1 foi composto por sete músicos profissionais da Camerata de nossa universidade (incluindo o seu regente), ou seja, um grupo de profissionais com 10 a 20 anos de educação em música clássica e experiência prática.

Esses participantes mostram uma resposta natural, muito detalhada e rápida para a visualização musical. O Grupo 2 foi formado com treze jovens estudantes de música (com idade entre 17-18 anos), com habilidade em tocar algum tipo de instrumento. Eles reportaram ter um background nos fundamentos musicais e, em média, três anos de habilidade tocando um instrumento. O Grupo 3 foi constituído de treze participantes (alunos de graduação e pós-graduação de nossa universidade), sem conhecimento musical, possuindo somente hábitos de ouvir música.

Cada participante trabalhou individualmente nos testes para minimizar distrações. Inicialmente, foram instruídos a ler as informações do formulário e a preencher dados sobre os seus perfis. O teste então foi iniciado, solicitando que assistissem a animação exibida em uma tela (enquanto ouviam a música usando fones de ouvido estéreos) e, em seguida, completassem o formulário correspondente. Depois de assistir à animação, os participantes foram também convidados a fazer comentários adicionais e sugestões que achassem pertinentes.

B. Resultados

As Tabelas de II a VI correspondem a resumos de respostas a várias perguntas feitas nas avaliações. Os participantes (linhas 1, 2, 3 e Grupos 1, 2, 3 da Tabela II) acharam os mapeamentos da altura tonal, volume e timbre evidentes. Perceberam o timbre (68% dos participantes) e o volume (68% dos participantes), mas reconheceram melhor a altura tonal (75% dos participantes). Quanto às diferentes cores escolhidas para o mapeamento das notas quando os acordes (notas simultâneas) são tocados, alguns participantes relataram que acharam particularmente interessante o efeito produzido. Embora a maioria das pessoas acharam simples o

reconhecimento da variação do volume da música através dos efeitos visuais, um participante sugeriu que a escala para mais no tamanho das partículas poderia ser aumentada.

A maioria dos participantes, cerca de 85% (Tabela III), identificou com precisão quadros em que todos os emissores têm as mesmas cores, significando que os instrumentos tocaram notas em uníssono ou oitava.

Predominantemente, os participantes reconheceram o motivo da Sinfonia na animação gerada, através do ritmo, um dos elementos mais importantes da música, com um grau de segurança bastante elevado (aproximadamente 85%, como mostra a primeira e a terceira linhas da Tabela IV). Muito deles também reconheceram o motivo através dos padrões melódicos. Este resultado foi muito mais pronunciado em músicos profissionais (em torno de 86%) e nos alunos de música (100%), em comparação com a audiência sem conhecimento musical, com hábitos de ouvir música apenas (cerca de 61%).

De forma não surpreendente, a repetição do padrão reproduzido foi a estrutura percebida por cerca de 85% dos participantes, como mostrado na primeira linha da Tabela V. Mais da metade deles (cerca de 58%) reconheceu as variações do motivo da Sinfonia na sua forma transposta, como exibido na segunda linha da Tabela V; e um pouco menos da metade deles (cerca de 45%) percebeu o motivo sua forma retrógrada (terceira linha da Tabela V). Na realidade, o retrógrado é relativamente difícil de identificar, embora seja mais simples em teoria. Mesmo os músicos experientes da Camerata mostraram uma certa dificuldade em identificar o motivo da Sinfonia em retrógrado, na animação. Esta dificuldade vivenciada pela maioria dos participantes foi provavelmente causada pelo fato de que este padrão visual foi exibido na tela muito rapidamente, prejudicando a sua percepção.

Quase todos os participantes (97%) concordaram que este tipo de experiência visual pode tornar-se um suporte adicional interessante para o aprendizado de música (Tabela VI). A maioria também afirmou que uma experiência visual sólida, facilita e enriquece a compreensão de um assunto. Adicionalmente, fizeram comentários complementares afirmando que, na verdade, uma pauta musical é para o músico uma "experiência visual", que ajuda na reprodução da música. Além disso, outros comentaram que a animação por computador gerada tornou possível a representação de padrões visuais com um efeito muito mais estimulante, capaz de manter a concentração dos participantes. Muitos usuários acharam que a animação também possibilita uma melhor percepção de ritmos e melodias, além da associação desses elementos musicais a cores e movimentos de personagens virtuais animados por computador.

TABELA II. QUAIS ASPECTOS DA MÚSICA VOCÊ RECONHECEU NA ANIMAÇÃO POR COMPUTADOR (ALTURA TONAL, VOLUME, TIMBRE)? ORDENE-OS USANDO

NOTAS DE 1 A 5, SENDO QUE UM VALOR MAIS BAIXO REPRESENTA QUE OS ASPECTOS FORAM MENOS EVIDENTES E, UM MAIS ALTO, MAIS EVIDENTES.

Grupo 1 Grupo 2 Grupo 3

1 2 3 4 5 1 2 3 4 5 1 2 3 4 5

177177178

altur

a to

nal

0 1 3 1 2 0 2 4 2 5 1 2 2 2 6

volu

me

0 1 3 1 2 1 2 2 5 3 2 2 4 1 4

timbr

e

0 2 1 0 4 2 3 2 5 1 1 4 0 2 6

TABELA III. VOCÊ PODE IDENTIFICAR QUADROS NOS QUAIS TODOS OS EMISSORES TÊM AS MESMAS CORES, INDICANDO QUE OS INSTRUMENTOS

TOCARAM UMA NOTA EM UNÍSSONO OU OITAVA?

Grupo 1 Grupo 2 Grupo 3sim não sim não sim não7 0 11 2 10 3

TABELA IV. VOCÊ PODE IDENTIFICAR O MOTIVO (UNIDADE MUSICAL) NA ANIMAÇÃO? ATRAVÉS DE PADRÕES RÍTMICOS? ATRAVÉS DE PADRÕES

MELÓDICOS? AMBOS?

Grupo 1 Grupo 2 Grupo 3 sim, somente por padrões rítmicos 2 1 4

sim, somente por padrões melódicos 0 0 0

sim, por ambos os padrões 4 12 4

nenhum deles 1 0 5

TABELA V. VOCÊ PODE RECONHECER NA ANIMAÇÃO A OCORRÊNCIA DOS SEGUINTES PADRÕES VISUAIS? (A) A REPETIÇÃO DO MOTIVO POR UM OU MAIS

INSTRUMENTOS? (B) A TRANSPOSIÇÃO DO MOTIVO? (C) A VARIAÇÃO DO MOTIVO EM RETRÓGRADO?

Grupo 1 Grupo 2 Grupo 3 sim não sim não sim nãoA repetição do motivo por um ou mais instrumentos

6 1 13 0 9 4

A transposição do motivo

4 3 8 5 7 6

A variação do motivo em retrógrado

2 5 9 4 4 9

TABELA VI. VOCÊ ACHA QUE ESTE TIPO DE EXPERIÊNCIA VISUAL PODE SE TORNAR UM SUPORTE ADICIONAL E INTERESSANTE PARA O APRENDIZADO DE MÚSICA? PARA CONCLUIR, POR FAVOR, INCLUA NO FORMULÁRIO QUAISQUER

COMENTÁRIOS E SUGESTÕES QUE DESEJAR .

Grupo 1 Grupo 2 Grupo 3sim 6 13 13não 1 0 0

C. Discussão Estudos iniciais com usuários demonstraram uma forte relação entre a percepção de termos musicais (altura tonal, volume e timbre) e atributos visuais (cores, tamanho e emissor), respectivamente. Além disso, muitos participantes manifestaram que a animação também permite uma melhor percepção de ritmos e melodias da Sinfonia, bem como a associação de elementos musicais básicos a cores e movimentos de personagens virtuais animados, no caso, partículas. Outros sugeriram a importância de variar a

velocidade das partículas para aumentar a expressividade da animação.

Os resultados foram bastante encorajadores e forneceram feedback positivo quanto à utilidade de cada mapeamento realizado. Além disso, trinta e dois participantes concordaram que este tipo de experiência visual pode tornar-se um suporte adicional e interessante, especialmente para o aprendizado de teoria musical. O sistema poderia ser útil, por exemplo, para fortalecer e ampliar as informações sonoras processadas, para as quais o estudante de música já recebe treinamento em um curso tradicional. Entre os participantes, os usuários sem experiência musical informaram que a visualização da música poderia ajudar as pessoas inexperientes, sem conhecimento musical, a aprender uma peça musical clássica, de forma mais simples e rápida, sem usar a pauta musical. Os participantes também manifestaram acreditar que as pessoas podem se beneficiar com sistemas de apoio musical do gênero, pois certamente mantêm a mente alerta, concentrada e ativa. Mais importante ainda, os usuários afirmaram que esse tipo de experiência visual pode oferecer às pessoas uma maior diversidade e liberdade para repetir e retornar a análise da visualização, quantas vezes for de interesse ou necessário.

VI. CONCLUSÕES E TRABALHOS FUTUROS Um sistema de partículas 3D virtuais para gerar em tempo real fontes emissoras de partículas coreografadas pela música foi apresentado. Além de sua simplicidade, o sistema inclui algumas características importantes e úteis para o aprendizado interdisciplinar, oferecendo aos estudantes de música e computação novas experiências, visualmente orientadas, bem como oportunidades simultaneamente desafiadoras e agradáveis. Dois exemplos de uso foram apresentados e um deles foi avaliado por usuários sem conhecimento musical, estudantes de música e especialistas na área musical, mostrando resultados promissores e positivos. As fontes emissoras de partículas animadas e coreografadas pelo primeiro movimento da 5ª Sinfonia de Beethoven, transcrita para um quarteto de cordas, demonstraram ser uma boa alternativa para os ensaios típicos de literatura musical, particularmente, para a compreensão e percepção de algumas nuances fundamentais de uma obra musical, mesmo para aqueles com somente uma experiência mínima na área. Desta forma, os resultados obtidos nos forneceram um feedback positivo e útil sobre a eficácia do nosso mapeamento visual.

Uma série de possibilidades podem ser consideradas como trabalhos futuros. Por exemplo, outras composições clássicas poderiam ser visualizadas e avaliadas usando o nosso sistema de partículas. Além disso, outros aspectos também relevantes poderiam ser explorados e incorporados ao sistema. No caso, assumimos quatro emissores para representar um quarteto de cordas. Esta foi uma decisão razoável para um sistema de visualização em tempo real, mas que talvez não escale tão bem para a representação de um conjunto muito maior de instrumentos, como os de uma orquestra. Além disso, não é óbvio, a priori, que cada instrumento tenha que ser mapeado para uma fonte emissora de partículas, por conseguinte, a inclusão de outros estilos visuais para visualizar diferentes sons produzidos por diferentes instrumentos poderia ser também outra extensão deste trabalho. Isso levaria a uma outra extensão

178178179

desafiadora que inclui a implementação de otimizações em nível de hardware. A incorporação de tais extensões talvez conduza a um conhecimento mais ampliado e a uma maior compreensão da visualização musical, identificando novas limitações e propondo novas soluções. Finalmente, acreditamos que a arte visual e a música são essenciais para expandir os horizontes das pessoas além do cotidiano e, portanto, a introdução do aprendizado da teoria musical na forma de jogos digitais e efeitos visuais seria também uma forma excelente e útil de entretenimento e aprendizado sobre linguagem visual.

AGRADECIMENTOS Maria Andréia F. Rodrigues gostaria de agradecer ao CNPq (Processo No. 310434/2010-6), pelo apoio financeiro recebido.

REFERÊNCIAS [1] R.B. Dannenberg, Music Understanding by Computer,

IAKTA/LIST International Workshop on Knowledge Technology in the Arts Proceedings, Osaka, Japan, 41-56, 1993.

[2] E. Hastings, R. Guha, K.O. Stanley, NEAT Particles: Design, Representation, and Animation of Particle System Effects, In Proc. of the IEEE Symp. on Computational Intelligence and Games (CIG), NJ: IEEE, 2007.

[3] W-Y Chan, A Report on Musical Structure Visualization, Hong Kong University of Science and Technology, 1-15, 2007.

[4] M. Wattenberg, Arc Diagrams: Visualizing Structure in Strings, In Proc. of the 2002 IEEE Symposium on Information Visualization, 110, IEEE Computer Society, 2002.

[5] T. Bergstrom, K. Karahalios, J.C. Hart, Isochords: Visualizing Sctructure in Music. In Proceedings of the 2007 Graphics Interface, 297-304, 2007.

[6] R. Miyazaki, I. Fujishiro, Comp-i 3D Visualization of MIDI Datasets, In Proc. of the 2002 Conference on Visualization Posters, 2002.

[7] R. Miyazaki, F. Watanabe, I. Fujishiro, Music Learning Through Visualization, In Proc. of the 2002 Intern. Symp. on Cyber Worlds, 101, IEEE Computer Society, 2002.

[8] C. Knapp, Creating Music Visualization in a Mandelbrot Set Explorer, BSc Degree Project, 2012.

[9] E. Chew, A.R.J. François, MuSA.RT - Music on the Spiral Array Real-Time, In Proceedings of the 2003 ACM Multimedia Conference (MM), Berkeley, CA, 2003.

[10] B. Puzon', N. Kosugi, Extraction and Visualization of the Repetitive Structure of Music in Acoustic Data-Misual Project, In Proc. of the 2011 Intern. Conf. on Information Integration and Web Based Apps & Services, 152-159, ACM Press, 2011.

[11] R. Miyazaki, I. Fujishiro, R. Hiraga, Exploring MIDI datasets, In ACM SIGGRAPH'03 Sketches & Applications, 1, New York, NY, USA, ACM Press, 2003.

[12] W.T. Reeves, Particle Systems: A Technique for Modeling a Class of Fuzzy Objects, Computer Graphics 17:3, 359-376, 1983.

[13] W-Y Chan, H. QU, W-H MAK, Visualizing the Semantic Structure in Classical Music Works. IEEE Transaction on Visualization and Computer Graphics, 16(1), 1-13, 2010.

[14] E. Chew, Foreword to Special Issue on Music Visualization, ACM Computers in Entertainment, 3(4), 2005.

[15] O. Kubelka, Interactive Music Visualization, In Proc. of the 4th Central European Seminar on Computer Graphics (CESCG), Czech Technical Institute, Prague/Czech Republic. 2000.

[16] A. Friberg, E. Schoonderwal�t, P.N. Juslin, R. Bresin, Automatic Real-Time Extraction of Musical Expression, In Proc. of the International Computer Music Conference, San Francisco, 365-367, 2002.

[17] S. Dixon, Extraction of Musical Performance Parameters from Audio Data, In Proceedings of the 2000 IEEE Pacific-Rim Conference on Multimedia, 42-45, 2000.

[18] T. Endrjukaite, N. Kosugi, Music Visualization Technique of Repetitive Structure Representation to Support Intuitive Estimation of Music Affinity and Lightness, Journal of Mobile Multimedia, 8(1), 49-71, Rinton Press, 2012.

[19] B. Evans, Time Slices to Sonic Maps, In SIGGRAPH'05 Posters, 19, NY, USA, ACM Press, 2005.

[20] R. Hiraga, R. Mizaki, I. Fujishiro, Performance Visualization – A New Challenge to Music Through Visualization, ACM Multimedia Conference, 239-242, 2002.

[21] S.M. Smith, G.N. Williams, A Visualization of Music, In Proc. of the 8th VIS, 499-503, 1997.

[22] G.A. Dickie, A Computer-Aided Music Composition Application Using 3D Graphics, MSc. Dissertation, Montana State University, Bozeman, 2004.

[23] W. Smith, G. Wakefield, "Synecdoche", January 2007. [24] M. Puckette,"Pure Data", In Proc. of the 1997 International

Music Conference, 224-227, 1997. [25] Ware Systems Inc. TimeSketch. Electronic Course. Ware

Systems Inc., 2000. [26] M. Stephen, Music Animation Machine, 2009. [27] M.M. Farbood, E. Pasztor, K. Jennings, "Hyperscore: A

Graphical Sketchpad for Novice Composers and Applications, IEEE Computer Graphics and Applications, 24(1), 50-54, 2004.

[28] S. Malinowski, The Music Animation Machine, 2007. [29] F. Caillete, An Interactive Particle System, MSc Dissertation,

University of Manchester, 2002. [30] E. Angel, Interactive Computer Graphics – A Top-Down

Approach using OpenGL, Addison-Wesley, 2009. [31] F. Collopy, Playing (with) Color, Glimpse Journal - The Art +

Science of Seeing, 2(3), 62-67, 2009. [32] K. Brougher, J. Strick, A. Wiseman, J. Zilczer, J. Visual Music:

Synaesthesia in Art and Music Since 1900. London: Thames & Hudson, 2005.

[33] M. McDonnel, Notes for Lecture on Visual Music, 2003. [34] A.R. Brown, Computers in Music Education: Amplifying

Musicality, Taylor & Francis Group, 2007. [35] K. Erleben, J. Sporring, K. Henriksen, H. Dohlmann, Physics-

Based Animation, River Media Inc., 2005. [36] A. Witkin, D. Baraff, Physically Based Modeling: Differential

Equation Basics, SIGGRAPH'01 Course Notes, 2001. [37] D. Benson, Music: A Mathematical Offering. Cambridge

University Press, UK, 2006. [38] K. Gerstner, The Forms of Color: The Interaction of Visual

Elements, The MIT Press, 1990. [39] P. Gilreath, The Guide to MIDI Orchestration, Taylor & Francis

Group, 2010. [40] M.N. Bain, Real Time Music Visualization: A Study in the

Visual Extension of Music. Master of Fine Arts in the Graduate School of The Ohio State University, USA, 2008.

[41] J.H. Fonteles, M.A.F. Rodrigues, V.E.D. Basso, Creating and Evaluating a Particle System for Music Visualization, Journal of Visual Languages & Computing, 24(6), 472-482, 2013.

[42] M.B. Küssner, Music and Shape, Literary and Linguist Computing, Oxford Journals, 28(3): 472-479, 2013.

[43] J. Gie�ng, Physics Based Music Visualization, BSc. Thesis, Vienna University of Technology, 2013.

[44] M. F.G.Vieira, Interactive Music Visualization: Implementation, Realization and Evaluation, Dissertação de Mestrado, Universidade da Madeira, 2014.

[45] G. Dickie, A Computer-Aided Music Composition Application Using 3D Graphics, MSc. Dissertation, Montana State University – Bozeman, 2014.

179179180