我们利用大型语言模型(LLM)进行零射击语义视听导航(SAVN)。现有的方法利用广泛的培训演示来巩固执行学习,但达到了相对较低的成功率和缺乏可普遍性。Auditary信号的间歇性质进一步构成了其他障碍,以减少目标信息。为了应对这一挑战,我们提出了Reflyception and I Maginative L Anguage A Gent(Rila)。通过采用多模式来处理SENSORY数据,我们指示基于LLM的规划师积极地展示环境。在探索过程中,我们的代理人对不准确的感知描述进行了适应性评估和驳回。此外,我们引入了辅助LLM的助手,以通过映射房间的布局并提供战略见解来增强全球环境综合。通过全面的实验和分析,我们表明我们的方法在没有环境和互补语义信息的培训演示的情况下优于相关的基线。
主要关键词