机构名称：
¥ 1.0
摘要 - 从大脑信号中介绍语音是一个具有挑战性的研究问题，对于研究大脑的语音处理至关重要。尽管在重建受试者在单词或字母水平上使用非入侵脑电图（EEG）所感知的主体所感知的音频刺激的MEL频谱已经取得了突破，但精确地重建连续的语音特征的精确重建连续的语音特征，尤其是在微小的水平上仍然存在关键的差距。为了解决这个问题，本文提出了一个状态空间模型（SSM），以重建来自脑电图的连续语音的MEL频谱，名为SSM2Mel。该模型引入了一个新型的MAMBA模块，以有效地对EEG信号的长序列进行建模，以进行想象的语音。在SSM2MEL模型中，S4-UNET结构用于增强EEG信号的局部特征的提取，并且使用嵌入强度调节器（ESM）模块用于合并主体特定信息。实验结果表明，我们的模型在Sparrkulee数据集上达到了0.069的Pearson相关性，这比上一个基线提高了38％。索引项 - 电子皮质学（EEG），MEL频谱图，多头自我注意力，状态空间模型，想象的语音。
ssm2mel：从EEG
主要关键词
相关文件推荐
