机构名称：
¥ 1.0
通过功能磁共振成像（fMRI）记录的神经反应解码视觉刺激（FMRI）呈现出认知神经科学和机器学习之间的有趣相交，这是理解人类视觉感知的有希望的进步。然而，由于fMRI信号的嘈杂和脑视觉表示的复杂模式，任务是具有挑战性的。为了减轻这些挑战，我们引入了两个阶段fMRI表示框架。第一阶段预训练fMRI功能学习者，其提议的双对抗性掩码自动编码器可以学习DENOCORED表示。第二阶段调谐功能学习者，以通过图像自动编码器的指导来了解视觉重建最有用的神经激活模式。优化的FMRI功能学习者然后调节了一个潜在扩散模型，以重建大脑活动的图像刺激。实验结果证明了我们的模型在产生高分辨率和语义准确的图像方面的优势，从39中实质上超过了先前的最新方法。在50道路-TOP-1语义分类精度中的34％。代码实现将在https://github.com/soinx0629/vis_dec_neurips/上提供。
对比，参加并扩散从大脑活动中解码高分辨率图像
主要关键词
相关文件推荐
