人类的视觉系统能够处理连续的视觉信息流,但大脑在连续的视觉处理过程中如何编码和检索近期的视觉记忆仍不清楚。本研究探讨了在连续的视觉刺激下,工作记忆保留过去信息的能力。然后我们提出了一项新任务——记忆解开,旨在从 fMRI 信号中提取和解码过去的信息。为了解决过去记忆信息干扰的问题,我们设计了一种解开的对比学习方法,灵感来自前摄干扰现象。该方法将相邻 fMRI 信号之间的信息分离为当前和过去成分,并将它们解码为图像描述。实验结果表明,该方法有效地解开了 fMRI 信号中的信息。这项研究可以推进脑机接口并缓解 fMRI 中时间分辨率低的问题。1
摘要。本研究解决了域级逐步学习问题,这是一种现实但具有挑战性的持续学习场景,在该方案中,域分布和目标类别跨任务各不相同。为处理这些不同的任务,引入了预训练的视力语言模型(VLM),以实现其强大的推广性。但是,这会引起一个新问题:在适应新任务时,预先训练的VLMS中编码的知识可能会受到干扰,从而损害了它们固有的零射击能力。现有方法通过在额外的数据集上使用知识蒸馏来调整VLM来解决它,这需要大量计算。为了有效地解决此问题,我们提出了无知的无干扰知识集成(DIKI)框架,从避免避免信息干扰的角度来保留对VLM的预训练的知识。具体来说,我们设计了一种完全残留的机制,可以将新学习的知识注入冷冻的骨干中,同时引发对预训练的知识的不利影响最小。此外,此残差属性可以使我们的分布感知的集成校准方案明确控制来自看不见的分布的测试数据的信息植入过程。实验表明,我们的二基仅使用训练有素的参数超过了当前的最新方法,并且需要较少的训练时间。代码可在以下网址找到:https://github.com/lloongx/diki。