机构名称：
¥ 2.0
从 fMRI 脑记录中重建自然图像并解码其语义类别是一项挑战。获取足够多的图像对及其相应的 fMRI 响应（这些响应涵盖了巨大的自然图像空间）是难以实现的。我们提出了一种新颖的自监督方法，该方法远远超出了稀缺的配对数据，用于实现：（i）最先进的 fMRI 到图像重建，以及（ii）首次从 fMRI 响应进行大规模语义分类。通过在一对深度神经网络（从图像到 fMRI 和从 fMRI 到图像）之间施加循环一致性，我们在来自许多新颖语义类别的大量“未配对”自然图像（没有 fMRI 记录的图像）上训练我们的图像重建网络。这使得我们的重建网络能够适应非常丰富的语义覆盖，而无需任何明确的语义监督。具体而言，我们发现将我们的自监督训练与高级感知损失相结合，可以产生新的重建和分类能力。具体来说，这种感知训练能够很好地对从未见过的语义类别的 fMRI 进行分类，而无需在训练期间使用任何类别标签。这带来了：（i）前所未有的从从未见过的图像的 fMRI 图像重建（通过图像指标和人工测试进行评估），以及（ii）在网络训练期间对从未见过的类别进行大规模语义分类。以前从未证明过从 fMRI 记录中进行如此大规模（1000 种）语义分类。最后，我们为所学模型的生物一致性提供了证据。
自监督自然图像重建和大型...
主要关键词
相关文件推荐
