Comunicao gestual: anlise multimodal da performance vinculada percepo da estrutura musicalJennifer MacRitchie, Bryony Buck, and Nicholas J. Bailey - pag 595 - 2009Centre for Music Technology, University of Glasgow, UK

RESUMOUm experimento de dois nveis foi realizado para avaliar a comunicao da estrutura fraseado de nuance desempenho a percepo das audincias. Nove performances de piano solo de dois preldios de Chopin selecionados, comparveis em termos de estrutura musical e complexidade, foram registrados multi-modal atravs de udio, MIDI, eo sistema de captura de movimento Vicon. As anlises dos parmetros de desempenho, tais como andamento, dinmica e movimento foram ento conduzidos com referncia pontuao anotada. Vdeos de cada apresentao foram apresentados aos observadores com conhecimentos musicais que utilizaram um controle deslizante para determinar a forma de cada frase musical. Tendo sido anteriormente apresentadas performances apenas no modo visual, os participantes foram agora apresentadas as performances em trs modalidades: visual, udio e audiovisual. Na sequncia da descoberta de que ocorrncia de gestos de desempenho correlacionados com limites frase anotada e percebidos, anlise multimodal de parmetros de desempenho confirmaram que artistas transmitida estrutura musical como previsto na auditiva, bem como elementos visuais de desempenho.Em uma performance da msica clssica ocidental, o artista usa certas funes expressivas para comunicar caractersticas da pontuao anotada e realar os pontos interessantes ao longo do curso da msica. Pesquisa no desempenho da msica reconheceu que esta experincia musical multi-modal e que a informao musical est contido no s na fontica, mas tambm o fluxo visual (Davidson 1993, Wanderley 2001). Interao atravs do modal na percepo de caractersticas estruturais dentro de uma pea de msica tm mostrado, para o desempenho dos clarinetistas, que o fluxo visual pode ajudar a melhor decodificar as informaes apresentadas nas instncias de udio-visual (Vines et al. 2006). A pesquisa precedente pelos autores tem-se centrado exclusivamente sobre essa informao visual em desempenho piano, particularmente como artistas no exigem que o ato fsico de respirar entre as frases. Foi demonstrada uma relao entre gestos artista global e estrutura fraseado da partitura escrita (MacRitchie et al. 2009). Esta pesquisa tem como objetivo investigar a informao multi-modal contidos performances de piano de dois preldios de Chopin e para descobrir as contribuies relativas em termos de percepo musical.METODOParticipantesNove pianistas altamente treinados da Royal Scottish Academy of Music and Drama e as Universidades de Glasgow e Edimburgo foram registrados jogar os preldios selecionados. Eles foram pagos uma quantia um fora de 25. Quinze juzes audincia musicalmente conhecedor foram recrutados por e-mail, da Universidade de Glasgow e orquestras locais. Eles foram pagas 6 por hora para a participao.MaterialAs duas peas de teste realizados foram Chopin Preludes Op.28 No.7 em A No.6 grande e em B menor. Preldio 7 foi escolhido como um pedao de controlo atravs de artistas, uma vez que compreende ritmicamente repetir frases 2-bar. Prelude 6 um pouco mais complicado, pois ele contm frases e alteraes no ritmo expandidos; a abertura de 2 bar frase de cada preldio mostrado na Figura 1. Dezoito gravaes "perspectiva audience-" foram utilizados para gerar 56 estmulos perceptivos que compreendem duas apresentaes de prtica por um dcimo performer e apresentaes de cada um preldio por nove artistas em trs modalidades: apenas visual (VO), apenas udio (AO), e audiovisual (AV). Apresentao estmulos foram ~ 40 s de durao cada para Prelude 7 e ~ 90 s para Prelude 6.ProcedimentoNove pianistas altamente treinados realizaram os dois preldios em Roland RD-150 teclado de 88 teclas ponderada e foram registrados atravs de udio, MIDI, e captura de movimento. Marcadores passivos foram fixados na parte superior do corpo e cabea atravs de um bon e jaqueta usada por todos os artistas. Performers eram obrigados a executar as preldios como fariam em um ambiente de concerto normal. Performances tambm foram filmados do ponto de vista pblico. Os 56 "audincia" perspectiva de desempenho estmulos foram apresentados a 15 participantes de audincia no AO, VO, e modos AV em duas sesses. Os participantes foram inicialmente apresentados com os estmulos VO e pediu para moldar a estrutura fraseado de cada performance usando uma barra deslizante movendo-se da esquerda-direita-esquerda como foi moldada a frase. Eles foram, em seguida, apresentado com os estmulos em todas as trs modalidades, e a tarefa foi repetido. Os estmulos foram apresentados em ordem aleatria para evitar efeitos de ordem.RESULTADOSAnlise da performanceAs estimativas de andamento, dinmica e movimento foram retirados dos fluxos MIDI, udio e movimento, respectivamente. Notas realizados foram compatveis com as notas registos com "linguagem de marcao desempenho" e matcher (descrito no McGilvray 2009). Consultas sobre a informao de nota foram devolvidos pelo banco de dados Pullinger (Pullinger 2009). Os intervalos inter-incio (IDI), normalizados para uma batida semnima, foram divididos de 1/60 para dar uma estimativa de batidas por minuto. Dynamics foram estimadas pela amplitude RMS do sinal. Curvas de movimento 2D foram extrados atravs da realizao de anlise de componentes principais (PCA) de todos os marcadores e a adio dos componentes ponderados. A Figura 2 mostra de udio, MIDI, e dados de vdeo conspiraram contra limites frase medida que ocorrem no udio. Para permitir uma comparao directa entre executores, todos os dados foram TimeWarped no que diz respeito ocorrncia de limites frase no udio. Distncias para os bebedouros mais prximos em dinmica e curvas de andamento foram extrados para cada fronteira frase. Distncias a partir de qualquer calhas ou picos foram extrados para as curvas de movimento, dependendo padres de movimento de cada performer. Two-way anlises de varincia (ANOVAs) mostraram efeitos significativos de nmero performer e frase sobre o movimento norma (F = 3,56, p