机构名称：
¥ 1.0
从人类大脑活动中重建视觉体验提供了一种独特的方式来理解大脑如何表征世界，并解释计算机视觉模型和我们的视觉系统之间的联系。虽然深度生成模型最近已被用于这项任务，但重建具有高语义保真度的真实图像仍然是一个具有挑战性的问题。在这里，我们提出了一种基于扩散模型 (DM) 的新方法来重建通过功能性磁共振成像 (fMRI) 获得的人脑活动图像。更具体地说，我们依赖于称为稳定扩散的潜在扩散模型 (LDM)。该模型降低了 DM 的计算成本，同时保留了其高生成性能。我们还通过研究 LDM 的不同组成部分（例如图像 Z 的潜在向量、条件输入 C 和去噪 U-Net 的不同元素）与不同大脑功能的关系来描述 LDM 的内部机制。我们证明了我们提出的方法可以重建高分辨率图像，保真度高，直
利用潜在扩散模型重建人类大脑活动的高分辨率图像
主要关键词
相关文件推荐
