XiaoMi-AI文件搜索系统
World File Search SystemObjectNav
对象目标导航的调查-ORCA-加的夫大学
摘要 - 对象目标导航（ObjectNav）是指在看不见的环境中导航到对象的代理，这是完成复杂任务时通常需要的能力。尽管它引起了体现的AI社区研究人员的越来越多的关注，但对ObjectNAV的当代和全面调查并没有。在这项调查中，我们通过总结了70多个最近的论文来概述该领域。首先，我们给出了ObjectNav的前期：定义，模拟器和指标。然后，我们将现有作品分为三个类别：1）直接将观测值映射到操作的端到端方法，2）由映射模块，策略模块和路径计划模块组成的模块化方法，以及3）使用零量的零摄像方法，使用零量量学习来进行导航。最后，我们总结了现有作品的性能和主要故障模式，并讨论了ObjectNAV的挑战。本调查将为该领域的研究人员提供完整的信息，以更好地了解ObjectNAV。
简单但有效：具身人工智能的 CLIP 嵌入
对比语言图像预训练 (CLIP) 编码器已被证明对从分类和检测到字幕和图像处理等一系列视觉任务有益。我们研究了 CLIP 视觉主干对 Embodied AI 任务的有效性。我们构建了非常简单的基线，称为 EmbCLIP，没有任务特定的架构、归纳偏差（例如使用语义图）、训练期间的辅助任务或深度图——但我们发现我们改进的基线在一系列任务和模拟器中表现非常出色。EmbCLIP 在 RoboTHOR ObjectNav 排行榜上以 20 分（成功率）的巨大优势名列前茅。它在 iTHOR 1-Phase Rearrangement 排行榜上名列前茅，击败了采用主动神经映射的第二佳提交作品，并且 % Fixed Strict 指标增加了一倍多（0.08 到 0.17）。它还击败了 2021 年 Habitat ObjectNav 挑战赛的获胜者，该挑战赛采用了辅助任务、深度图和人工演示，以及 2019 年 Habitat PointNav 挑战赛的获胜者。我们评估了 CLIP 的视觉表示在捕获输入观察的语义信息方面的能力——这些原语对于导航繁重的具身任务很有用——并发现 CLIP 的表示比 ImageNet 预训练的主干更有效地编码了这些原语。最后，我们扩展了我们的一个基线，生成了一个能够进行零样本物体导航的代理，它可以导航到训练期间未用作目标的物体。我们的代码和模型可以在 https://github.com/allenai/embodied-clip 获得。
通过Vision-...
对象导航（ObjectNav）要求代理在看不见的环境中导航以找到查询对象。许多以前的方法试图通过依靠经过跨越或强化学习来解决此任务，在该学习中，它们在具有近距离对象的有限家庭数据集上进行了培训。然而，尚未解决两个主要挑战：了解自由形式的自然语言指令，要求开放式观察，并以零拍的方式推广到新环境。旨在解决这两个挑战，在本文中，我们提出了OpenFM- NAV，这是一个基于零照射对象导航的基于odel m ODEL M ODEL的框架。我们首先释放了大型语言模型（LLMS）的推理能力，以从满足用户需求的自然语言指令中提取拟议的观察。然后，我们利用大型视觉语言模型（VLM）的普遍性来积极地从场景中发现和脱离候选对象，建立多功能语义得分图（VSSM）。然后，通过对VSSM进行常识推理，我们的方法可以对场景进行有效的语言引导探索和剥削，并最终达到目标。通过利用基础模型的推理和概括，我们的方法可以理解自由形式的人类指示并在不同环境中进行有效的开放式零射门导航。在HM3D ObjectNAV基准上进行的广泛实验表明，我们的方法超过了所有指标上的所有强基础，证明了我们方法的有效性。1此外，我们执行真实的机器人演示，以验证我们方法对现实环境的开放定点性和普遍性。