摘要:我们介绍了交互式场景探索的新颖任务,其中机器人自主探索环境并产生一个动作条件的场景图(ACSG),该图形图(ACSG)捕获了基础环境的结构。ACSG在场景中既说明了低级信息(几何和语义)以及高级信息(不同实体之间的动作条件关系)。为此,我们提出了机器人探索(RoboExp)系统,该系统结合了大型多模型(LMM)和明确的内存设计,以增强我们的系统功能。机器人的原因以及如何探索对象,通过交互过程累积新信息,并逐步构建ACSG。利用构造的ACSG,我们说明了机器人系统系统在促进涉及涉及刚性,清晰的对象,嵌套对象和可变形对象的各种真实的操纵任务方面的有效性和效率。项目页面:https://jianghanxiao.github.io/roboexp-web/