估计相机和激光雷达之间的相对姿势对于促进多代理系统中复杂的任务执行至关重要。尽管如此,当前的方法论遇到了两个主要局限性。首先,在跨模式特征提取中,它们通常采用单独的模态分支来从图像和点云中提取跨模式特征。此方法导致图像和点云的特征空间未对准,从而降低了建立对应关系的鲁棒性。第二,由于图像和点云之间的比例差异,不可避免地会遇到一到一对像素点的对应关系,这会误导姿势优化。为了应对这些挑战,我们通过学习从p ixel到p oint sim Imarlities(i2p ppsim)的基本对齐特征空间来提出一个名为i Mage-p oint云注册的框架。I2P PPSIM的中心是共享特征对齐模块(SFAM)。 它是在粗到精细体系结构下设计的,并使用重量共享网络来构建对齐特征空间。 受益于SFAM,I2P PPSIM可以有效地识别图像和点云之间的共同视图区域,并建立高可责任2D-3D对应关系。 此外,为了减轻一对一的对应问题,我们引入了一个相似性最大化策略,称为点最大。 此策略有效地过滤了异常值,从而确立了准确的2D-3D对应关系。 为了评估框架的功效,我们进行了有关Kitti Odometry和Oxford Robotcar的广泛实验。I2P PPSIM的中心是共享特征对齐模块(SFAM)。它是在粗到精细体系结构下设计的,并使用重量共享网络来构建对齐特征空间。受益于SFAM,I2P PPSIM可以有效地识别图像和点云之间的共同视图区域,并建立高可责任2D-3D对应关系。此外,为了减轻一对一的对应问题,我们引入了一个相似性最大化策略,称为点最大。此策略有效地过滤了异常值,从而确立了准确的2D-3D对应关系。为了评估框架的功效,我们进行了有关Kitti Odometry和Oxford Robotcar的广泛实验。结果证实了我们框架在改善图像到点云注册方面的有效性。为了使我们的结果可重现,源代码已在https://cslinzhang.github.io/i2p上发布。
摘要 - 优化人工神经网络的计算效率对于资源受限的平台(例如自主驾驶系统)至关重要。为了应对这一挑战,我们提出了一个轻巧的上下文感知网络(LCNET),该网络加速了语义细分,同时在本文中保持了推理速度和细分精度之间的有利权衡。提出的LCNET引入了部分通道转换(PCT)策略,以最大程度地减少基本单元的计算潜伏期和硬件要求。在PCT块中,三个分支的上下文聚合(TCA)模块扩展了功能接收场,从而捕获多尺度上下文信息。此外,双重注意引导的解码器(DD)恢复了空间细节并增强了像素预测的认可。在三个基准上进行的广泛实验证明了拟议的LCNET模型的有效性和效率。值得注意的是,一个较小的LCNET 3_7仅获得了73.8%MIOU,只有51万个参数,分别使用单个RTX 3090 GPU和Jetson Xavier NX,其令人印象深刻的推理速度约为142.5 fps和〜9 fps。更准确的LCNET 3_11版本可以在约117 fps的推理速度下以相同的分辨率达到75.8%MIOU,在城市景观上约为117 fps推理速度。可以在较小的图像分辨率下实现更快的推理速度。LCNET在移动应用程序方案 - iOS的计算效率和预测能力之间取得了巨大的平衡。代码可在https://github.com/lztjy/lcnet上找到。
摘要 - 在机器人运动过程中以不同速度识别基础表面对于安全有效的机器人导航很重要。这项工作旨在通过在每脚下方固定的力传感器来识别多个室内表面,同时以不同的速度导航,从而增强了双子机器人的感知能力。通过将实时多对象支持向量机(SVM)与有效的时域功能相结合,提出了一种机器人的准确但成本较固的表面标识系统。在这种情况下,研究了四个有希望的手工制作的时域特征,其中均方根(RMS)功能被证明超过了其他三个功能。可以通过分别以两个不同的步行速度应用RMS来实现十倍SVM交叉验证中95.99%和98.16%的平均平均精度(地图)。具有较高的计算效率可以实现高分类精度,因此可以在诸如Arduino或Jetson Nano之类的低成本平台上进行系统部署,这使我们的方法适合在各种步行速度之间进行广泛应用。