摘要:透过密集遮挡重建场景图像是一项重要但具有挑战性的任务。传统的基于帧的图像去遮挡方法在面对极其密集的遮挡时可能会导致致命的错误,因为有限的输入遮挡帧中缺乏有效的信息。事件相机是受生物启发的视觉传感器,它以高时间分辨率异步记录每个像素的亮度变化。然而,仅从事件流合成图像是不适当的,因为事件流中只记录了亮度变化,而初始亮度是未知的。在本文中,我们提出了一种事件增强的多模态融合混合网络用于图像去遮挡,它使用事件流提供完整的场景信息,使用帧提供颜色和纹理信息。提出了一种基于脉冲神经网络(SNN)的事件流编码器,以有效地对事件流进行编码和去噪。提出了比较损失以生成更清晰的结果。在基于事件和基于帧的大规模图像去遮挡数据集上的实验结果表明,我们提出的方法达到了最先进的性能。
主要关键词