解密人类脑的复杂性已经吸引了好奇心已有几个世纪了。最近在脑部计算机界面(BCI)技术(尤其是使用运动图像)方面的进步已经恢复了运动功能,例如在瘫痪的个体中达到,抓握和行走。然而,从大脑信号中解开自然语言,这是一个巨大的挑战。脑电图(EEG)是一种非侵入性技术,用于通过将电极放置在头皮上来记录大脑中的电活动。先前对脑电图解码的研究已经在小型闭合词汇上实现了很高的准确性,但在处理大型开放词汇时仍然没有高精度。我们提出了一种新颖的方法EEG2T EXT,以提高开放词汇量表到文本解码的准确性。具体而言,EEG2T EXT利用EEG预训练以从脑电图中学习语义,并提出了一个多视图变压器来对大脑的不同T空间区域进行EEG信号处理模型。实验表明,EEG2T EXT具有较高的性能,在绝对BLEU和Rouge评分中,最大幅度高达5%的最先进的基线方法。eeg2t ext具有高性能开放式脑脑对文本系统的巨大潜力,以促进交流。
主要关键词