音乐意象是在没有外部听觉输入的情况下对音乐进行的内部再创造。虽然许多研究已经调查了音乐聆听和意象的神经相关性,但很少有研究探讨后者过程中声学特征的编码。在本研究中,我们采用多元时间响应函数 (mTRF) 来检查在音乐聆听和意象过程中,音符起始、包络和包络起始等旋律特征如何编码在脑磁图 (MEG) 反应中。我们的分析表明,音符起始和包络起始在聆听和意象条件下都能显著预测 MEG 反应。值得注意的是,这些声学特征和神经活动之间的相关性在群体和个体层面都很明显。此外,预测相关拓扑图显示在聆听和意象任务期间位于颞叶上方的通道中的相关值会增加。
1,波士顿大学chobanian和Avedisian医学院解剖学和神经生物学系,美国马萨诸塞州波士顿,美国2号弗雷明汉心脏研究,波士顿大学chobanian and Chobanian和Avedisian医学院,波士顿,波士顿,波士顿,马萨诸塞州波士顿,马萨诸塞州,美国卫生学院3.公共卫生,美国马萨诸塞州波士顿公共卫生,5 Slone流行病学中心,波士顿大学Chobanian和美国马萨诸塞州波士顿的Avedisian医学院,美国马萨诸塞州波士顿,肺部医学和医学系6级,贝丝以色列Deaconess医学中心,美国马萨诸塞州波士顿,医学院,医学院,医学院,医学院,医学院,医学院和医学院。马,美国1,波士顿大学chobanian和Avedisian医学院解剖学和神经生物学系,美国马萨诸塞州波士顿,美国2号弗雷明汉心脏研究,波士顿大学chobanian and Chobanian和Avedisian医学院,波士顿,波士顿,波士顿,马萨诸塞州波士顿,马萨诸塞州,美国卫生学院3.公共卫生,美国马萨诸塞州波士顿公共卫生,5 Slone流行病学中心,波士顿大学Chobanian和美国马萨诸塞州波士顿的Avedisian医学院,美国马萨诸塞州波士顿,肺部医学和医学系6级,贝丝以色列Deaconess医学中心,美国马萨诸塞州波士顿,医学院,医学院,医学院,医学院,医学院,医学院和医学院。马,美国
脑电图 (EEG) 是一种非侵入性测量人脑电活动的方法。EEG 传感器被放置在受试者的头皮上以获取 EEG 记录。参考文献 [1]–[3] 表明,EEG 特征可用于执行孤立和连续语音识别,其中受试者说话或聆听时记录的 EEG 信号使用自动语音识别 (ASR) 模型转换为文本。在 [4] 中,作者展示了使用深度学习模型从侵入性皮层脑电图 (ECoG) 信号合成语音。同样,在 [2]、[5] 中,作者展示了使用深度学习模型从 EEG 信号合成语音。在 [2]、[5] 中,作者展示了使用不同类型的 EEG 特征集的结果。使用 EEG 特征进行语音合成和语音识别可能有助于有语言障碍的人或无法说话的人恢复语音。在本文中,我们感兴趣的是研究是否有可能从声学特征预测 EEG 特征。这个问题可以表述为基于 EEG 的语音合成的逆问题。在基于脑电图的语音合成中,声学特征是根据脑电图特征预测的,如参考文献 [2]、[5] 中所述。从独特的声学模式预测脑电图特征或特征可能有助于更好地理解人类大脑如何处理语音感知和产生。在实验室中记录脑电图信号是一项耗时且昂贵的工作