摘要。我们提出了一个计算框架,它结合了深度和颜色(纹理)模态来进行 3D 场景重建。场景深度由采用飞行时间原理的低功率光子混合装置 (PMD) 捕获,而颜色(2D)数据则由高分辨率 RGB 传感器捕获。这种 3D 捕获设置有助于 3D 人脸识别任务,更具体地说,有助于深度引导图像分割、3D 人脸重建、姿势修改和规范化,这些都是特征提取和识别之前的重要预处理步骤。两种捕获的模态具有不同的空间分辨率,需要对齐和融合,以形成所谓的视图加深度或 RGB-Z 3D 场景表示。我们特别讨论了系统的低功耗操作模式,其中深度数据看起来非常嘈杂,需要在与颜色数据融合之前进行有效去噪。我们建议使用非局部均值 (NLM) 去噪方法的修改,该方法在我们的框架中对复值数据进行操作,从而提供针对低光捕获条件的一定稳健性和对场景内容的自适应性。在我们的方法中,我们对范围点云数据实施双边滤波器,确保数据融合步骤的非常好的起点。后者基于迭代理查森方法,该方法用于使用来自颜色数据的结构信息对深度数据进行有效的非均匀到均匀重采样。我们展示了基于 GPU 的框架的实时实现,可产生适合面部规范化和识别的高质量 3D 场景重建。关键词:ToF、2D/3D、深度、融合、去噪、NLM、面部、ICP
主要关键词