机构名称：
¥ 1.0
摘要 - 从大脑信号中解码语言信息代表了脑部计算机之间的重要研究领域，尤其是在解密fMRI信号的语义信息的背景下。尽管现有工作使用LLM来实现此目标，但他们的方法并未使用端到端方法，并且避免了fMRI到文本的映射中的LLM，为探索LLM在听觉解码中留下了空间。在本文中，我们引入了一种新颖的方法，即大脑提示GPT（BP-GPT）。通过使用从fMRI提取的大脑表示，我们的方法可以利用GPT-2将fMRI信号解码为刺激文本。此外，我们介绍了文本提示，并将fMRI提示对齐。通过引入文本提示，我们的BP-GPT可以提取更强大的大脑提示，并促进预训练的LLM的解码。我们在开源的听觉语义解码数据集上评估了BP-GPT，与现有方法相比，所有受试者的流星的显着提高了流星的4.61％，而BERTSCORE的BERTSCORE则获得了2.43％。实验结果表明，将大脑表示作为进一步驱动听觉神经解码的LLM的提示是可行有效的。该代码可在https://github.com/1994cxy/bp-gpt上获得。索引术语 - 神经解码，大语言模型，fMRI，脑部计算机界面。
使用fmri prompered llm
主要关键词
相关文件推荐
