机构名称：
¥ 2.0
我们提出了 MindEye，一种新颖的 fMRI 到图像方法，用于从大脑活动中检索和重建所看到的图像。我们的模型包含两个并行子模块，专门用于检索（使用对比学习）和重建（使用扩散先验）。MindEye 可以将 fMRI 大脑活动映射到任何高维多模态潜在空间，如 CLIP 图像空间，从而能够使用接受来自该潜在空间的嵌入的生成模型进行图像重建。我们使用定性的并排比较和定量评估，将我们的方法与其他现有方法进行了全面比较，并表明 MindEye 在重建和检索任务中都达到了最先进的性能。特别是，即使在高度相似的候选图像中，MindEye 也可以检索出精确的原始图像，这表明它的大脑嵌入保留了细粒度的图像特定信息。这使我们能够准确地从 LAION-5B 等大型数据库中检索图像。我们通过消融证明，Mind-Eye 的性能优于以前的方法，这得益于专门用于检索和重建的子模块、改进的训练技术以及具有更多数量级参数的训练模型。此外，我们还表明，通过使用 img2img，MindEye 可以更好地保留重建中的低级图像特征，并使用单独的自动编码器进行输出。所有代码均可在 GitHub 上找到。
具有对比学习和扩散先验的 fMRI 到图像
主要关键词
相关文件推荐
