机构名称：
¥ 1.0
摘要。脑成像技术的进步使得从神经活动中解码思想和意图成为可能。然而，跨多个受试者的脑信号的 fMRI 到视频解码遇到了挑战，因为个体大脑之间存在结构和编码差异，而配对 fMRI 刺激数据的稀缺进一步加剧了这一挑战。为了解决这个问题，本文介绍了 fMRI 全局-局部功能对齐 (GLFA) 投影，这是一种将来自不同受试者的 fMRI 帧对齐到统一的大脑空间的新方法，从而增强了跨受试者解码。此外，我们还提供了一个精心策划的 fMRI-视频配对数据集，其中包含来自 8 个人的总共 75k 个 fMRI-刺激配对样本。这个数据集大约是以前基准数据集的 4.5 倍。在此基础上，我们用扩散视频生成器增强了基于变压器的 fMRI 编码器，深入研究了基于跨受试者 fMRI 的视频重建领域。这种创新方法忠实地捕捉了来自不同脑信号中的语义信息，从而生成了生动的视频，并在跨主题语义分类任务中实现了令人印象深刻的 84.7% 的平均准确率。
通过全局-局部功能对齐增强跨受试者 fMRI 到视频解码
主要关键词
相关文件推荐
