AI 根据大脑活动记录重新创建平克·弗洛伊德 (Pink Floyd) 曲目

加州大学伯克利分校的研究人员在患者聆听 Pink Floyd 的歌曲“Another Brick in the Wall, Part 1”时记录了大脑区域的电活动。使用人工智能,他们能够根据大脑的颅内脑电图记录重建这首歌。

来源:Robogeek新闻频道(关于机器人技术的俄罗斯与世界新闻)

加州大学伯克利分校的研究人员在患者聆听 Pink Floyd 的歌曲“Another Brick in the Wall, Part 1”时记录了大脑区域的电活动。使用人工智能,他们能够根据大脑的颅内脑电图记录重建这首歌。

加州大学伯克利分校 (UC Berkeley) 的 Robert Knight 和他的同事研究了通过手术植入 29 名癫痫患者大脑表面的电极记录。

参与者在聆听专辑“The Wall”(1979)中的歌曲“Another Brick in the Wall, Part 1”时记录其大脑活动。通过将大脑信号与歌曲进行匹配,研究人员识别出了与歌曲的音调、旋律、和声和节奏密切相关的电极子集的录音。

然后,他们通过从训练数据中排除 15 秒的歌曲样本来训练 AI 学习大脑活动与这些音乐成分之间的联系。经过训练的人工智能根据参与者的大脑信号创建了对未知歌曲片段的预测。 AI 生成曲目的频谱图与原始曲目一致 43%。

研究人员发现了大脑中一个称为颞上回的区域,它负责处理歌曲中吉他的节奏。他们还发现,来自大脑右半球的信号对于音乐处理比来自左半球的信号更重要,这证实了之前的研究结果。

“对于患有肌萎缩侧索硬化症或失语症且说话有困难的人来说,我们希望有一种设备,听起来就像你正在以人类的方式与某人交流,”奈特说,“了解大脑的表达方式。语音的音乐元素,包括语气和情感,可以使此类设备变得不那么机器人化。”

著作《Music can be returned from humanauditor cortexactivity using非线性解码模型》发表在PLOS Biology上。

可以使用非线性解码模型根据人类听觉皮层活动重建音乐