遮挡

用于图像修复的无监督深度神经网络类似于遮挡场景的早期视觉皮层 fMRI 活动模式

人工智能在理解生物视觉方面的前景依赖于将计算模型与大脑数据进行比较，从而捕捉视觉信息处理的功能原理。深度神经网络 (DNN) 已成功匹配大脑前馈视觉通路延伸至腹侧颞叶皮层过程中发生的分层处理转换。然而，我们仍有待了解 DNN 是否能够成功描述早期视觉皮层中的反馈过程。在这里，我们研究了人类早期视觉皮层与具有编码器/解码器架构的 DNN 之间的相似性，以无监督方式训练以填充遮挡并重建未见过的图像。使用表征相似性分析 (RSA)，我们比较了人类参与者在观看部分遮挡图像时未受刺激的早期视觉皮层斑块的 3T fMRI 数据与来自相同图像的不同 DNN 层激活。结果表明，我们的网络在与 fMRI 数据的相似性方面优于经典监督网络 (VGG16)，这意味着改进的视觉神经网络模型需要结合捕捉皮层反馈处理的架构。我们还发现，与编码器激活相比，DNN 解码器通路激活与大脑处理更相似，这表明早期视觉皮层中存在中级和低级/中级特征的整合。挑战 AI 模型和人脑解决同一项任务提供了一种将 DNN 与大脑数据进行比较的宝贵方法，并有助于限制我们对信息处理的理解，例如神经元预测编码。