机构名称：
¥ 23.0
数据驱动的机器人技术在过去十年中一直是非常有效的范式。今天，我们可以自主执行灵巧的任务，例如折叠布，在避免碰撞的同时导航走廊，并控制复杂的动态系统，例如使用板载观测的四足动物机器人在挑战性的地形上行走。但它们经常构成基本的限制，以阻止它们在开放世界环境中部署，要么是因为他们对环境的结构做出了强烈的假设，需要大量的机器人数据收集，或者无法说明对周围环境的语义理解。由于这些局限性，数据驱动的机器人技术方法仍然仅限于简单的限制设置，而大多数从业者和潜在的应用程序都无法访问。在特定环境中，他们仍然需要为每个单独的机器人进行手工设计，以解决特定的任务。本论文提出了对未来智能机器人的替代愿景，在那里我们可以拥有一般的机器学习模型，可以控制任何机器人，以便在挑战性的开放世界环境中执行合理的行为。受到语言和视觉基础模型的启发，我们从大量数据中提出了培训机器人基础模型（RFM）的食谱，这些数据仅依靠以Egipentric的视力来控制各种不同的移动机器人。这使机器人系统能够利用互联网基础模型的实力，同时也以现实世界的负担并在现实世界中采取行动。我们还展示了这样的RFM如何用作构建功能强大的机器人系统的骨干，从而可以探索茂密的森林，或在其环境中与人类互动，或者利用卫星图像或自然语言等侧面信息来源。最后，我们提出了一种结合RFM，他们对物理世界的知识，语言和愿景的互联网基础模型，以及使用新颖的计划框架，将RFMS及其对物理世界的知识以及其图像水平的语义理解和基于文本的推理结合在一起。我们希望这是迈向这种通用机器人系统的一步，可以在广泛的机器人上部署，利用预先训练的模型来利用互联网规模的知识，并为多样化的移动机器人应用提供基础。
开放世界机器人的基础模型路径
主要关键词
相关文件推荐
