Ictus 12-2 29

Sistema Computacional Aplicado aoContraponto Musical

Rodrigo Schramm

Fernando Lewis de Mattos

Resumo: Na teoria musical, o contraponto uma tcnica compositiva que permite aadio de novas melodias a um cantus firmus por meio do uso de restries lgicas.O algoritmo proposto neste artigo utiliza o mtodo de aprendizagem por reforo Q-Learning para resolver o problema do contraponto de primeira espcie. Para reali-zar essa tarefa, utilizado um conjunto de regras que geram recompensas e queatualizam iterativamente o modelo. Ao final de todo o processo, o sistema produzuma nova melodia adequada melodia de referncia. Esse artigo apresenta detalhesda implementao e uma breve discusso dos resultados.Palavras-chave: Aprendizagem Autnoma de Msica, Aprendizagem de Mquina,Contraponto Musical.

Abstract: In music theory, counterpoint is a compositional technique that allowsyou to add new melodies to an existing music part by the use of logic restrictions.The algorithm proposed in this paper uses the reinforcement learning algorithm Q-learning to solve the problem of composition of the first species counterpoint. Toaccomplish this task, a set of nine constraints are used to generate the rewards andupdate the model. The system converges to a solution that maximizes the rewardusing an iterative process. At the end of the entire process, the system produces anew melody that fits the reference part. This document presents the implementationdetails and a brief discussion about the obtained results.Keywords: Musics autonomous learning, Machines learning, musical counterpoint.

1. IntroduoO presente texto transita entre a Msica e a Informtica e est orga-

nizado em trs sees principais. Na prxima, seo 2, sero apresentadosalguns artigos referentes ao estado da arte. Na seo 3, sero apresentadosaspectos musicais delimitadores, que serviram de critrios para aimplementao do algoritmo proposto; e na seo posterior, seo 4, serdetalhado o modelo implementado. Na seo 5, sero apresentados resulta-dos do algoritmo para alguns exemplos de teste e, por fim, ser apresentadauma breve concluso. Seu objetivo apresentar resultados parciais de uma

Ictus 12-230

pesquisa em andamento, que busca alternativas facilitadoras ao estudo decontraponto, numa perspectiva educacional contempornea, fazendo usodas novas tecnologias da informao e comunicao, com vistas a favore-cer e agilizar o processo de ensino-aprendizagem deste contedo, em parti-cular no contexto da educao a distncia, mediada pela internet.

Dificuldades tpicas do estudo de Contraponto tornam-se particular-mente complexas sob essas condies. O software aqui apresentado, porexemplo, surgiu de necessidades operacionais decorrentes tanto da veloci-dade de respostas necessrias aos alunos durante o ensino do contrapontoem ambiente virtual, como do acmulo de trabalhos por serem corrigidos, nombito do curso Licenciatura em Msica modalidade EAD da UFRGS eUniversidades Parceiras (PROLICENMUS). Na matriz curricular destecurso, por princpio adequada ao atendimento concomitante de um grandecontingente de alunos, a interdisciplina Sistemas de Organizao Sonora(SOS) foi a origem e o campo de testes, para o desenvolvimento desteprojeto. Tambm ser sua principal favorecida, medida que nela, queso oferecidas as unidades de estudo especficas de contraponto.

O estudo do contraponto define diretrizes para composio de melodi-as sobrepostas em duas ou mais vozes. Considerando tambm que h umadependncia harmnica entre as vozes, tais regras buscam delimitar o con-junto de notas que mais bem combinam entre si para formar uma estruturaeufnica. A expresso punctus contra punctum, derivado do latim e signi-ficando "ponto contra ponto" ou "nota contra nota" surgiu a partir da cons-truo de novas vozes em relao uma melodia referencial, conhecidacomo cantus firmus. H vrios nveis de complexidade no estudo docontraponto, sendo o contraponto de primeira espcie o mais simples. Nestetipo de contraponto, para cada nota do cantus firmus, h uma nica contranota na segunda voz. A utilizao de computadores para efetuar a tarefa decomposio no recente. Em 1958 [1], j eram pesquisadas formas derealizar essa tarefa com auxlio de computadores digitais. Atualmente, como desenvolvimento da rea de aprendizagem de mquina, novos algoritmosesto sendo criados e envolvem diferentes aspectos musicais no processode resoluo do problema do contraponto. O contraponto de primeira esp-cie envolve um conjunto de princpios que esto intimamente ligados s pro-priedades da msica, em especial, aos intervalos meldicos e harmnicos.Assim, na msica tradicional, o processo compositivo de uma nova melodia(voz) baseia-se num conjunto de regras, as quais formam restries que

Ictus 12-2 31

servem de base para os algoritmos de aprendizagem no processo de criaoda melodia do contraponto.

Durante a reviso bibliogrfica, verificou-se que h um nmero muitopequeno de trabalhos relacionados ao problema proposto neste artigo, ouseja, trabalhos que propem sistemas para composio focada no problemado contraponto musical. Isso mostra que o problema est em aberto e per-mite que novas tcnicas sejam desenvolvidas para melhorar os exercciosde composio musical auxiliados por computador. O sistema desenvolvidoutiliza como base o algoritmo de aprendizagem por reforo Q-Learning, oqual largamente empregado na aprendizagem de mquina e se tem mos-trado eficaz em processos compositivos autnomos, onde sistemascomputacionais aprendem e devolvem solues para processos criativos.

2. Estado da arteAdiloglu e Alpaslan [2] desenvolveram um algoritmo que utiliza redes

neurais artificiais para gerao de melodias que respeitam as regras decontraponto de primeira espcie. A rede neural artificial proposta pelos au-tores possui uma camada de entrada, uma de sada e vrias camadas ocul-tas. O contraponto criado por pares consecutivos de notas que so repre-sentadas por nodos (e seus respectivos pesos) da rede. A rede foi treinadacom diferentes melodias previamente classificadas como contraponto deprimeira espcie. Os autores nomearam o sistema resultante de NeuroComposer.

Outra proposta que utiliza aprendizagem de mquina foi desenvolvidapor Yilmaz e Telatar [3]. A tcnica proposta por esses autores utiliza lgicaFuzzy para harmonizar melodias. Novamente, o algoritmo foi aplicado emproblemas de contraponto de primeira espcie, ou seja, nota-contra-nota. Omtodo desenvolvido pelos autores utiliza regras impostas pela teoria musi-cal para regular as funes membro (fuzzy membership functions). Almdisso, o mtodo permite que o msico arranjador ou compositor possa apli-car suas preferncias estilsticas ao resultado final, simplesmente ajustandoas formas das funes membro.

Aguilera et al [4] desenvolveram um modelo probabilstico para o pro-blema de contraponto musical. Os autores argumentam que o fato da tcni-ca no ser determinstica possibilita a gerao de diferentes melodias paraum mesmo cantus firmus. Isso um fator relevante que est presente nasdemais tcnicas que utilizam outros algoritmos de aprendizagem [2] [3] [5],as quais incorporam tambm essa caracterstica no determinstica, geran-

Ictus 12-232

do diferentes possibilidades. Esse um ponto importante, pois permite que oalgoritmo seja criativo e seu resultado, uma expresso artstica. Em [4], osautores no se preocuparam com as caractersticas estilsticas da melodia efocaram apenas nas regras de contraponto e tambm no aspecto harmni-co.

Visando considerar os aspectos estilsticos e tambm a forma da com-posio, Amnuaisuk [5] props um algoritmo baseado no aprendizado porreforo. O algoritmo utiliza Q-learning para aprender o melhor conjunto denotas que se encaixa ao cantus firmus. Em seu modelo, cada estado umanota do contraponto e uma ao definida como um dos possveis interva-los que a prxima nota (prximo estado) pode ter. A escolha da prximanota leva em considerao o valor de utilidade do par Q (s,a). A recompen-sa calculada por meio de um conjunto de restries que penaliza a escolhada prxima nota com base nos princpios de contraponto. Alm das diretri-zes de contraponto, a recompensa leva em considerao tambm o contex-to harmnico obtido atravs da anlise musical.

O trabalho de Amnuausuk serviu de base para a implementao doalgoritmo descrito neste artigo. Na prxima seo deste documento serdescrito com maiores detalhes o modelo proposto para gerar melodias decontraponto de primeira espcie.

Figure 1: Resultado obtido com o algoritmo proposto por Yilmaz e Telatar [3].

3. Aspectos MusicaisPara que se torne capaz de apresentar e operar com alternativas

variadas diante de um mesmo estmulo, a mquina deve ser treinada. Suaaprendizagem decorre do estabelecimento de regras devidamente associa-das a um conjunto de aes de reforos positivos ou negativos. As regras dotreinamento pertinente ao caso so aquelas que conduzem a um cantusfirmus dado. Os reforos, por sua vez, so decorrentes tanto de priorizaesestabelecidas entre regras, como de excluses de alternativas inadequadas,

Ictus 12-2 33

eventualmente propostas pelo algoritmo. O conjunto de opes que emer-gem deste processo acabam por configurar melhores ou piores alternativas,do ponto de vista artstico e estilstico proposto. Tal controle externo rea-lizado por um especialista, cuja compreenso musical deve, ao longo dodesenvolvimento do referido processo de aprendizagem de mquina, ir sen-do absorvida por ela.

O principal critrio (ou restrio) que deve ser observado a presen-a de intervalos consonantes formados entre a nota cantus firmus e acontranota. O oposto tambm verdadeiro. Ento, tais fatos expressam aregra mais importante do contraponto de primeira espcie: dissonncias soevitadas. Um segundo aspecto que deve ser observado o contorno mel-dico formado pela voz que est sendo criada, cuja extenso, por um lado,no deve cruzar a voz do cantus firmus e tambm no deve possuir saltosintervalares meldicos muito grandes; por outro, deve priorizar movimentoscontrrios entre as vozes. Outros critrios tambm so importantes, comoevitar a presena indesejada de intervalos de quintas e oitavas paralelas, porexemplo. Um inventrio completo das diretrizes referentes ao contrapontode primeira espcie, na ordem em que foram priorizadas e no modo comoforam inter-relacionadas foi sendo obtido ao longo do trabalho, conformeexplicitado a seguir.

Partiu-se do conjunto de critrios convencionais, pertencentes teoriada msica, no mbito do estudo do contraponto de primeira espcie, consi-derados em trs grandes grupos: critrios referentes nota escolhida comoinicial e final, critrios referentes combinao entre as vozes, ao relacio-nar o cantus firmus com a nova melodia criada; e critrios referentes aosmovimentos meldicos de uma mesma voz, no caso, a correspondente nova melodia criada.Esses critrios podem ser hierarquicamente categorizados, da seguinteforma:

1. Nota inicial e final

(a) Iniciar e terminar com a tnica no baixo.(b) Iniciar e terminar com a tnica na voz superior, sempre quepossvel.

(c) Se no iniciar ou terminar com a tnica na parte superior,dar preferncia (nesta ordem) por: quinta, tera e sexta.

Ictus 12-234

2. Combinao entre as vozes

(a) Evitar, sempre, quintas e oitavas paralelas.(b) Evitar, dentro do possvel, mais de trs intervalos paralelos iguais(por exemplo, at trs teras paralelas)

(c) Dar preferncia por certo tipo de movimento, na relao entre asvozes, na seguinte ordem: contrrio, oblquo, direto e paralelo.

3. Movimento meldico na mesma voz

(a) Grau conjunto(b) Salto de tera, quarta, quinta justa, sexta e oitava justa (nesta ordem de preferncia). Evitam-se saltos dissonantes (aumentados oudiminutos, stimas maiores ou menores). Aps um salto em uma direo (ascendente ou descendente), preferir grau conjunto na direooposta.

Os critrios anteriormente explicitados so regidos por quatro regrasbsicas, quais sejam:

1. Intervalos harmnicos devem ser obrigatoriamente formados porconsonncias.

2. Quintas e oitavas paralelas devem ser evitadas.3. Movimento contrrio e oblquo devem ter preferncia sobre movimentos diretos e paralelos; e

4. Movimento meldicos preferenciais so aqueles constitudos porgraus conjuntos, pois saltos devem ser usados principalmente paragerar contraste meldico em relao aos graus conjuntos, e no comoprimeiras opes.

Avaliando, contudo, os resultados do algoritmo na fase de treinamen-to, percebeu-se que uma hierarquia de regras emergiu da configurao dospesos das recompensas, no algoritmo de aprendizagem por reforo, confor-me ser visto na seo seguinte, em particular no tpico 4.2.

4. ModeloA motivao para o uso de aprendizagem por reforo baseia-se na

possibilidade de modelar o sistema como uma representao do processo

Ictus 12-2 35

real de avaliao do resultado musical a partir dos princpios do contraponto,por um crtico. Assim, as aes do agente so penalizadas seguindo os cri-trios musicais do contraponto de primeira espcie. Tais penalizaes con-duzem o agente na tomada de decises, onde, com o passar do tempo, eleobtm a convergncia para escolha das notas mais adequadas na melodiade contraponto. Tal processo permite que, para cada rodada do programa,dada a presena de certa aleatoriedade na escolhas das aes (notas), umanova melodia seja gerada, imprimindo assim uma caracterstica artstica soluo.

Para modelar o problema, foi escolhido o algoritmo Q-learning, o qualse adapta bem a esse tipo de abordagem. O algoritmo Q-learning mode-lado por meio de um agente, um conjunto de estados S e um conjunto deaes A para cada estado. No caso do problema de contraponto, os estadosso as possveis notas musicais que formaro a melodia e as aes sointerpretadas como a escolha da prxima nota. Ao executar uma ao, numdeterminado estado, h uma transio do estado atual para o prximo esta-do, que representa a nota escolhida de acordo com a ao.

Cada transio representa um passo e o total de passos representa umepisdio. A quantidade de passos por episdio igual ao total de notas damelodia do cantus firmus. Assim, como o contraponto de primeira esp-cie e haver uma contranota para cada nota da melodia de referncia, cadapasso representa a transio de uma nota para sua subsequente.

Por outro lado, como o espao de estados muito grande, necess-rio restringir as possibilidades de escolha de notas para tornar o problematratvel. A restrio nesse caso foi feita utilizando-se um conjunto com ape-nas duas oitavas, porm, como poder ser visto mais adiante, o sistema configurvel e permite facilmente a expanso do conjunto de possibilidades.

Ao executar uma ao , o agente move-se de um estado paraoutro e recebe uma recompensa, que associada a cada par estado-ao.Essa recompensa expressa numericamente e positiva quando o movi-mento for adequado e negativa, em caso contrrio. O objetivo do agente maximizar o total de recompensas que ele recebe durante um episdio, ouseja, maximizar as recompensas ao colocar todas as notas da melodia decontraponto. Isso feito aprendendo a ao tima para cada estado.

O algoritmo Q-learning utiliza uma funo para calcular a qualidadedas combinaes de um estado-ao: . Inicialmente, antesde iniciar o aprendizado, os pares em Q possuem valores arbitrrios. Duran-te o treinamento, a cada recompensa recebida depois de ter executado uma

a A

Q:SAR

Ictus 12-236

ao e troca de estado, o valor de Q(s,a) atualizado pela seguinte expres-so:

onde a a taxa de aprendizado e g o fator de desconto. O fator de des-conto determina o peso no tempo presente dos valores dos reforos futuros.Como pode ser visto na equao de avaliao, o algoritmo Q-learning baseado num simples processo iterativo, onde os valores de Q soatualizados a cada novo passo; ou seja, valores do passado so levadosem considerao e, a cada passo, so atualizados por correes rece-bidas por intermdio de informaes futuras. A tabela 1 apresenta umpseudocdigo do algoritmo Q-learning.

4.1. Espao estado-aoA representao do espao estado ao o ncleo principal do

algoritmo. No contexto do contraponto tonal de primeira espcie, utilizandoa escala musical temperada, para cada nota do cantus firmus possvelselecionar uma nota dentre um conjunto total de 8n, onde n representa onmero de oitavas consideradas. Por exemplo, para uma faixa de quatrooitavas, o nmero de possibilidades a cada estado de 32 intervalos1. Vi-

1 So considerados apenas os intervalos referentes aos graus da escala. Alteraes(sustenidos/bemis) no so consideradas no contraponto de primeira espcie.

Ictus 12-2 37

sando limitar a quantidade de intervalos e tornar, por consequncia, o pro-blema tratvel para a utilizao de melodias longas, foi definido n=2 nestetrabalho. Essa configurao justifica-se uma vez que no contraponto no desejvel realizar saltos muito grandes entre as notas de uma mesma voz.Alm disso, dificilmente uma voz ter mais do que duas oitavas de exten-so.

A figura 2 ilustra o conjunto de estados que so disponveis ao algoritmoQ-learning para o problema do contraponto. O eixo horizontal representa onmero de passos, cada um associado a uma nota do cantus firmus. Nesteexemplo, foi utilizada a melodia de uma cano folclrica brasileira intituladaMarcha Soldado. O eixo vertical representa as possveis notas escolhidaspelas aes. Nesta figura, a intensidade de cada clula representa o valorde retorno das recompensas, ou seja, o valor atual de Q (s,a).

Figura 2: Snapshot da matriz Q durante o processo iterativo do algoritmo Q-

learning. Essa matriz representa, em cada clula, o valor atual das recompensas

para cada par estado-ao. Cada coluna da matriz representa um passo e a

largura total da matriz representa um episdio.

4.2. Restries e valores de recompensaPara cada ao do agente, h uma transio e uma recompensa. A

recompensa recebida calculada de forma semelhante utilizada porAmnuaisuk [5], o qual, por sua vez, utiliza critrios baseados nas diretrizesda teoria musical. A tabela 2 apresenta o conjunto de regras utilizadas, bemcomo o peso associado a cada uma delas. Amnuaisuk utiliza valores simtri-cos e de mesma magnitude para retornos positivos e negativos. Na tcnicaproposta por este artigo, aps diversos experimentos, foram definidos pesoscom valores diferenciados para cada uma das regras. A escolha destespesos foi feita com base na avaliao de um especialista que validava os

Ictus 12-238

resultados gerados pelo algoritmo. Sempre que um critrio no era obedeci-do, seu peso era aumentado.

preciso uma nota explicativa para as regras Dissonncias e Pro-gresses com intervalos consonantes. Essas duas so as regras funda-mentais que norteiam o algoritmo para gerar o contraponto em primeiraespcie. A regra "Dissonncias" evita intervalos considerados dissonantes.Por isso, na prtica, a penalizao com o peso negativamente grande excluiquase que totalmente a possibilidade da existncia de tal tipo de intervalo. Ooposto acontece com a regra "Progresses com intervalos consonantes",onde o peso positivamente grande empurra a convergncia da soluo parao conjunto de notas consonantes.

5. Testes e anlise de resultadosO algoritmo foi implementado no MATLAB e os testes realizados

foram supervisionados por um especialista. Assim, duas formas de avalia-o foram utilizadas para verificar a acurcia do sistema. A primeira foi aconvergncia da soma da recompensa obtida ao final de cada episdio detreinamento. A segunda forma de avaliao levou em considerao as dire-trizes do contraponto e tambm a qualidade musical da melodia gerada peloalgoritmo.

A figura 3 mostra o processo de convergncia dos valores de Q (s,a)durante 100 episdios de treinamento. Durante os testes do programa, foiutilizado g=0.8 como fator de desconto e a=0.5 como taxa de aprendizado.Para tornar o algoritmo e-guloso, utilizou-se e=0.2. O valor de a e e decaemlinearmente medida que o nmero de episdios cresce.

Ictus 12-2 39

Figura 3: Convergncia do algoritmo Q-Learning durante 100 episdios de

treinamento.

O algoritmo foi testado com diferentes melodias e obteve resultadossatisfatrios para a maioria delas. A partir destes resultados pode-se perce-ber que o sistema no consegue gerar melodias com contexto harmnico.Desta forma, para garantir que a melodia obedea os critrios de contrapontoem primeira espcie e tambm siga um encadeamento harmnico coerente,ser necessrio adicionar uma representao do contexto. A figura 4 ilustrao resultado da criao meldica pelo algoritmo proposto para a cano fol-clrica brasileira "Marcha Soldado", sem que j tenha sido associado aoprocesso de limitaes harmnicas nem preferncias estilsticas, de sensibi-lidade mais artstica, pertinentes ao caso. De um ponto de vista mais con-vencional sobre o contraponto, o exemplo gerado pelo algoritmo tem algunserros, como o final da primeira frase (segunda metade do segundo compas-so), que deveria ser sobre um campo harmnico de dominante. Com o apri-moramento do algoritmo, sero oportunamente includos outros critrios comoos que evitaro intervalos harmnicos de 4a Justa da melodia em relaoao baixo, considerados como dissonncia.

Figura 4: Resultado obtido com o algoritmo para a melodia da cano folclrica

"Marcha Soldado", usada como cantus firmus. A melodia de contraponto foi

criada na voz inferior.

Ictus 12-240

6. Consideraes finaisO algoritmo proposto neste trabalho utiliza aprendizado por reforo

para solucionar o problema de composio por contraponto de primeira es-pcie. Mais especificamente, a tcnica implementada baseada no traba-lho de Amnuaisuk [5] e utiliza Q-Learning. Para tanto, o algoritmo utilizaum conjunto de estados possveis que esto relacionados com as notas docontraponto e as aes representam o ato de inserir uma nova nota namelodia. A recompensa do algoritmo de aprendizagem por reforo feita deacordo com as avaliaes das regras relativas ao contraponto de primeiraespcie. Aps um nmero determinado de episdios, o algoritmo convergepara uma soluo tima no global, mas que respeita essas regras em dife-rentes solues. A vantagem da soluo no ser nica que o sistemapermite, a cada novo treinamento, a criao de uma nova melodia, garantin-do uma caracterstica artstica ao modelo. Tambm permite que, em casode o software ser utilizado na correo de trabalhos de alunos, por exemplo,o mesmo fornea um grande conjunto de alternativas possveis, detectandoapenas erros reais.

Os estudos preliminares j realizados indicam que, de fato, o problemaaqui proposto atual, bastante relevante e tem muitas aplicaes no contex-to musical, servindo de apoio ao ensino e/ou performance. A utilizao doalgoritmo Q-learning como soluo de aprendizado por reforo para o pro-blema do contraponto de primeira espcie mostrou-se possvel e coerentecom as abordagens tradicionais baseadas na teoria musical. Os testes mos-traram que, para cada cantus firmus, o sistema cria um conjunto expressi-vo de possveis melodias que respeitam as restries impostas pelas regrasde contraponto e que imprimem caractersticas artsticas s solues. Comotrabalhos futuros, pretende-se incluir o contexto harmnico ao sistema etambm, por intermdio da superviso de um especialista, adicionar um con-junto de testes para avaliar a acurcia do modelo.

Referncias[1] HILLER JR. L. A. ; ISAACSON, L. M. Musical composition with a

high speed digital computer. In: Audio Engineering Society Convention9. Audio Engineering Society, 1957. v. 6, n. 3, p. 154-160.

[2] ADILOGLU, K.; ALPASLAN, F. N. A machine learning approach totwo-voice counterpoint composition. Knowledge-Based Systems, v.20, n. 3, p. 300 - 309, 2007. ISSN 0950-7051.

Ictus 12-2 41

[3] YILMAZ, A. E.; TELATAR, Z. Note-against-note two-voice counterpointby means of fuzzy logic. Knowledge-Based Systems, v. 23, n. 3, p.256-266, 4 2010.

[4] AGUILERA, G. et al. Automated generation of contrapuntal musicalcompositions using probabilistic logic in derive. Mathematics andComputers in Simulation, v. 80, n. 6, p. 1200 - 1211, 2010. ISSN 0378-4754.

[5] PHON-AMNUAISUK, S. Generating tonal counterpoint usingreinforcement learning. In: LEUNG, C.-S.; LEE, M.; CHAN, J. H.(Ed.). ICONIP (1). [S.l.]: Springer, 2009. (Lecture Notes in ComputerScience, v. 5863), p. 580-589. ISBN 978-3-642-10676-7.