成像系统的信息驱动设计

编码器(光学系统)将对象映射到无噪声图像,噪声会破坏测量结果。我们的信息估计器仅使用这些噪声测量值和噪声模型来量化测量值区分物体的效果。许多成像系统产生人类从未见过或无法直接解释的测量值。您的智能手机在生成最终照片之前通过算法处理原始传感器数据。 MRI 扫描仪收集需要重建的频率空间测量结果,然后医生才能查看它们。自动驾驶汽车直接使用神经网络处理摄像头和激光雷达数据。在这些系统中,重要的不是测量结果如何,而是它们包含多少有用信息。即使这些信息以人类无法解释的方式编码,人工智能也可以提取这些信息。然而,我们很少直接评估信息内容。分辨率和信噪比等传统指标分别评估质量的各个方面,因此很难比较在这些因素之间进行权衡的系统。常见的替代方案是训练神经网络来重建或分类图像,这将成像硬件的质量与算法的质量混为一谈。我们开发了一个框架,可以根据成像系统的信息内容直接评估和优化成像系统。在我们的 NeurIPS 2025 论文中,我们表明该信息指标可以预测四个成像领域的系统性能,并且优化它会产生 d

来源:BAIR

编码器(光学系统)将对象映射到无噪声图像,噪声会破坏测量结果。我们的信息估计器仅使用这些噪声测量值和噪声模型来量化测量值区分对象的效果。

许多成像系统产生人类从未见过或无法直接解释的测量结果。您的智能手机在生成最终照片之前通过算法处理原始传感器数据。 MRI 扫描仪收集需要重建的频率空间测量结果,然后医生才能查看它们。自动驾驶汽车直接使用神经网络处理摄像头和激光雷达数据。

在这些系统中,重要的不是测量结果的外观,而是它们包含多少有用信息。即使这些信息以人类无法解释的方式编码,人工智能也可以提取这些信息。

然而我们很少直接评估信息内容。分辨率和信噪比等传统指标分别评估质量的各个方面,因此很难比较在这些因素之间进行权衡的系统。常见的替代方案是训练神经网络来重建或分类图像,将成像硬件的质量与算法的质量混为一谈。

我们开发了一个框架,可以根据成像系统的信息内容直接评估和优化成像系统。在我们的 NeurIPS 2025 论文中,我们表明该信息指标可以预测四个成像领域的系统性能,并且对其进行优化可以产生与最先进的端到端方法相匹配的设计,同时需要更少的内存、更少的计算,并且不需要特定于任务的解码器设计。

为什么是互信息?

互信息量化测量在多大程度上减少了产生测量的对象的不确定性。具有相同互信息的两个系统在区分对象的能力上是等效的,即使它们的测量结果看起来完全不同。

根据测量估计信息

跨四个成像领域的验证