自主机器人系统近年来引起了越来越多的关注,在这种环境中,环境是机器人导航,人类机器人互动和决策的关键步骤。现实世界机器人系统通常会从多个传感器中收集视觉数据,并经过重新识别以识别许多对象及其在复杂的人拥挤的设置中。传统的基准标记,依赖单个传感器和有限的对象类和场景,无法提供机器人对策划导航,互动和决策的需求的综合环境理解。作为JRDB数据集的扩展,我们揭开了一种新颖的开放世界式分割和跟踪基准,介绍了一种新型的开放世界式分割和跟踪基准。JRDB-Panotrack包括(1)各种数据室内和室外拥挤的场景,以及
了解人类的社会行为对于综合愿景和机器人技术至关重要。微观的观察(例如,分裂行动)不足,需要采取一种全面的方法来考虑个人行为,组内动态和社会群体层次,以彻底理解。要解决数据集限制,本文引入了JRDB-Social,JRDB的扩展[2]。旨在填补跨室内和室外社会环境的人类理解的空白,JRDB-Social提供了三个层次的注释:个体属性,组内侵入和社会群体环境。该数据集旨在增强我们对机器人应用的人类社会动态的理解。利用最近的尖端多模式大型语言模型,我们评估了我们的基准,以表达其破译社会人类行为的能力。