机构名称：
¥ 1.0
从非侵入性大脑活动中解码语言引起了神经科学和自然语言处理研究人员越来越多的关注。由于脑记录的噪声性质，现有的研究将脑到词的解码简化为二元分类任务，即区分脑信号是其对应的单词还是错误的单词。然而，这种成对分类任务不能促进实用神经解码器的发展，原因有二。首先，它必须枚举测试集中的所有成对组合，因此预测大词汇表中的单词效率低下。其次，完美的成对解码器无法保证直接分类的性能。为了克服这些问题并进一步实现现实的神经解码器，我们提出了一种新颖的跨模态完形填空 (CMC) 任务，即以上下文为提示，预测神经图像中编码的目标单词。此外，为了完成这项任务，我们提出了一种利用预训练语言模型来预测目标词的通用方法。为了验证我们的方法，我们对来自两个脑成像数据集的 20 多名参与者进行了实验。我们的方法在所有参与者中平均实现了 28.91% 的 top-1 准确率和 54.19% 的 top-5 准确率，远远超过了几个基线。这一结果表明我们的模型可以作为 CMC 任务的最新基线。更重要的是，它证明了从大脑神经活动中解码大词汇表中的某个单词是可行的。
跨模态完形填空任务：脑到词解码的新任务
主要关键词
相关文件推荐
