VLMPC

VLMPC：机器人操纵的视觉语言模型预测控制

摘要 - 尽管模型预测控制（MPC）可以有效地预测系统的未来状态，因此广泛用于机器人操纵任务中，但它没有环境知觉的能力，导致在某些复杂情况下失败。为了解决这个问题，我们介绍了视觉语言模型预测性控制（VLMPC），这是一种机器人操纵框架，它利用了视觉语言模型（VLM）的强大感知能力，并将其与MPC集成。具体来说，我们提出了一个有条件的动作采样模块，该模块作为输入目标图像或语言指令，并利用VLM来采样一组候选动作序列。然后，轻质动作条件的视频预测模型旨在生成以候选动作序列为条件的一组未来框架。vlmpc通过层次成本函数在VLM的帮助下产生最佳动作序列，该函数在当前观察和目标图像之间均表达了像素级和知识级的一致性。我们证明，VLMPC在公共基准测试中的最新方法优于最先进的方法。更重要的是，我们的方法在机器人操纵的各种现实世界任务中展示了出色的表现。代码可从https://github.com/ppjmchen/vlmpc获得。