机构名称：
¥ 1.0
摘要。我们解决了脑驱动研究中普遍存在的挑战，从文献难以恢复准确的空间信息并且需要特定主题的模型这一观察出发。为了应对这些挑战，我们提出了 UMBRAE，一种统一的多模态脑信号解码。首先，为了从神经信号中提取实例级概念和空间细节，我们引入了一种高效的通用脑编码器进行多模态脑对齐，并从后续的多模态大语言模型 (MLLM) 中恢复多个粒度级别的对象描述。其次，我们引入了一种跨主题训练策略，将特定主题的特征映射到一个共同的特征空间。这使得模型可以在没有额外资源的情况下对多个主题进行训练，甚至比特定主题的模型产生更好的结果。此外，我们证明这支持对新主题的弱监督适应，而只需要总训练数据的一小部分。实验表明，UMBRAE 不仅在新引入的任务中取得了优异的成绩，而且在成熟的任务中也优于方法。为了评估我们的方法，我们构建了一个全面的大脑理解基准 BrainHub 并与社区分享。我们的代码和基准可以在 https://weihaox.github.io/UMBRAE 上找到。
UMBRAE：统一多模态大脑解码
主要关键词
相关文件推荐
