机构名称：
¥ 1.0
最先进的脑转文本系统在使用神经网络直接从脑信号解码语言方面取得了巨大成功。然而，目前的方法仅限于小型封闭词汇表，这对于自然交流来说是远远不够的。此外，大多数高性能方法都需要来自侵入式设备的数据（例如 ECoG）。在本文中，我们将问题扩展到开放词汇表脑电图 (EEG) 到文本序列到序列解码和自然阅读任务中的零样本句子情感分类。我们假设人类大脑充当特殊的文本编码器，并提出了一个利用预训练语言模型（例如 BART）的新框架。我们的模型在 EEG 到文本解码中获得了 40.1% 的 BLEU-1 分数，在基于零样本 EEG 的三元情感分类中获得了 55.6% 的 F1 分数，这明显优于监督基线。此外，我们表明，我们提出的模型可以处理来自各种主题和来源的数据，一旦有足够的数据，就显示出高性能开放词汇脑转文本系统的巨大潜力。该代码已在 https://github.com/MikeWangWZHL/EEG-To-Text 上公开供研究使用。
开放词汇脑电图到文本解码和零样本情绪分类
主要关键词
相关文件推荐
