机构名称：
¥ 3.0
大脑解码是将大脑活动映射到产生这些活动的刺激的过程，近年来一直是一个活跃的研究领域。在语言刺激的情况下，最近的研究表明，可以将 fMRI 扫描解码为受试者正在阅读的单词的嵌入。然而，这种词嵌入是为自然语言处理任务而设计的，而不是为大脑解码而设计的。因此，它们限制了我们恢复精确刺激的能力。在这项工作中，我们建议直接对 fMRI 扫描进行分类，将其映射到固定词汇表中的相应单词。与现有工作不同，我们对以前从未见过的受试者的扫描进行评估。我们认为这是一个更现实的设置，我们提出了一个可以解码从未见过的受试者的 fMRI 数据的模型。我们的模型在这项具有挑战性的任务中实现了 5.22% 的 Top-1 和 13.59% 的 Top-5 准确率，显著优于所有考虑过的竞争基线。此外，我们使用解码后的单词来指导 GPT-2 模型的语言生成。通过这种方式，我们进一步探索出一种将大脑活动转化为连贯文本的系统。
解码大脑活动以实现语言生成
主要关键词
相关文件推荐
