PCWM

点云模型改善了机器人学习者的视觉鲁棒性

摘要 - 视觉控制策略在视觉条件（如照明或摄像机位置）与训练过程中所见的情况有所不同时可能会遇到重大的性能降解 - 通常甚至在较小的差异方面表现出急剧下降的能力。在这项工作中，我们研究了基于RGB-D和基于点云的视觉控制策略的这些类型的视觉变化的鲁棒性。要对基于模型和基于模型的强化学习者进行这些实验，我们引入了一种新颖的Point Cloud World Model（PCWM）和基于点云的控制策略。我们的实验表明，明确编码点云的策略比其RGB-D对应物更强大。此外，我们发现我们提出的PCWM在训练过程中的样本效率方面显着优于先前的工作。在一起，这些结果表明，通过点云进行有关3D场景的推理可以提高性能，减少学习时间并增加机器人学习者的鲁棒性。项目网页：https：//pvskand.github.io/projects/pcwm