摘要。虽然近红外(NIR)成像对于辅助驾驶和安全监控系统至关重要,但其单色性质会阻碍其更广泛的应用,这促使其开发了NIR到可见的翻译任务。但是,现有翻译的性能受到NIR和可见的想象之间被忽视的差异以及缺乏配对训练数据的限制。为了应对这些挑战,我们提出了一个新颖的对象感知到可见的翻译框架。我们的方法将可见的图像恢复分解为对象独立的亮度源和特定于对象的反射组件,从而在各种照明条件下分别处理它们以弥合NIR和可见成像之间的间隙。利用先前的细分知识增强了我们的模型识别和理解分离对象反射的能力。我们还收集了完全对齐的NIR可见图像数据集,这是一个大规模数据集,其中包括完全匹配的NIR对以及使用多传感器同轴摄像头捕获的可见图像。em-pirical评估证明了我们的方法优于现有方法,从而在主流数据集上产生了令人信服的结果。代码可访问:https://github.com/yiiclass/sherry。
主要关键词