深度学习模型通过在各种任务中实现前所未有的准确性,在大多数应用程序领域中提供了极其成功的方法。对于音频应用程序,尽管生成模型的巨大复杂性允许处理复杂的时间结构,但它通常排除了它们在资源约束硬件平台上的实时使用,尤其是在该领域的普遍性。缺乏足够的轻质模型是基于深层模型的独立工具的开发的障碍,这对音乐家和作曲家的现实生活产生了重大限制。最近,我们通过在可以处理其复杂性的足够硬件平台上实现轻巧的生成音乐音频模型来构建了第一个基于深度学习的音乐仪器。通过嵌入此深层模型,我们提供了一个可控且灵活的创意硬件接口。更确切地说,我们将工作重点放在Eurorack合成器格式上,该格式提供了控制电压(CV)和门机制,允许与其他经典的Eurorack模块进行交互。
在本文中,我们提出了一种利用音乐产物和生理数据来创造一种新型现场音乐体验的方法,这种体验植根于表演者和观众的生理学。通过利用生理数据(即皮电活动 (EDA) 和心率变异性 (HRV))并将这些数据应用于音乐产物,包括机器人筝(一种配有螺线管和线性执行器的传统 13 弦日本乐器)、Eurorack 合成器和 Max/MSP 软件,我们旨在开发一种新型的半即兴和显著不确定的表演实践。此后,它已演变为一种多模式方法,它尊重即兴表演实践并利用生理数据为表演者和观众提供不断变化和亲密的体验。在我们的第一个探索阶段,我们专注于开发一种控制定制机器人筝的方法,结合 Eurorack 合成器系统和 Max/MSP 软件来控制传入数据。我们整合了对生理数据的依赖,将更直接的人性化元素注入到这个人工制品系统中。这使得很大一部分决策可以直接由实时传入的生理数据控制,从而在这个非生命系统中提供表演感。我们的目标是继续开发这种方法,在意向性和即兴表演结果之间取得新的平衡。