详细内容或原文请订阅后点击阅览
利用生成式人工智能使机器人虚拟训练场多样化
麻省理工学院 CSAIL 的新工具创建了逼真的虚拟厨房和客厅，模拟机器人可以在其中与现实世界对象的模型进行交互，从而扩大机器人基础模型的训练数据。
来源:MIT新闻 - 人工智能像 ChatGPT 和 Claude 这样的聊天机器人在过去三年中的使用量急剧上升，因为它们可以帮助您完成广泛的任务。无论你是在写莎士比亚十四行诗、调试代码，还是需要回答一个晦涩的琐事问题，人工智能系统似乎都能满足你的需求。这种多功能性的来源是什么？互联网上有数十亿甚至数万亿的文本数据点。
不过，这些数据还不足以教会机器人成为有用的家庭或工厂助手。为了了解如何在不同的环境中处理、堆叠和放置各种物体，机器人需要进行演示。您可以将机器人训练数据视为操作视频的集合，引导系统完成任务的每个动作。在真实机器人上收集这些演示非常耗时，而且不完全可重复，因此工程师通过使用人工智能生成模拟（通常不反映现实世界的物理）来创建训练数据，或者从头开始繁琐地手工制作每个数字环境。
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 和丰田研究院的研究人员可能已经找到了一种方法来创建机器人所需的多样化、真实的训练场。他们的“可引导场景生成”方法创建了厨房、客厅和餐厅等数字场景，工程师可以使用这些场景来模拟大量现实世界的交互和场景。该工具在超过 4400 万个充满桌子和盘子等物体模型的 3D 房间中进行了训练，将现有资产放置在新场景中，然后将每个资产细化为物理准确、逼真的环境。
可操纵场景生成 纸张在一个特别有说服力的实验中，MCTS 在一个简单的餐厅场景中添加了最大数量的对象。经过在平均只有 17 个物体的场景中进行训练后，它在桌子上展示了多达 34 个物体，其中包括大量的点心菜肴。
MiDiffusion DiffuScene