摘要 - 自主驾驶有可能为更有效的未来移动性奠定基础,要求研究领域通过安全,可靠和透明的驾驶来建立信任。大语言模型(LLM)具有推理能力和自然语言的理解,具有作为可以与人类互动和为人类驾驶员设计的环境互动的自我运动计划的普遍决策者的潜力。尽管这条研究途径很有希望,但当前的自动驾驶方法通过结合3D空间接地以及LLMS的发展和语言能力来挑战。我们介绍了BEV-驱动程序,这是一种基于LLM的模型,用于Carla中的端到端闭环驾驶,它利用潜在的BEV功能作为感知输入。bevdriver包括一个BEV编码器,以有效地处理多视图图像和3D LiDAR点云。在一个共同的潜在空间中,BEV特征通过Q-前者传播,以与自然语言指示保持一致,并传递给LLM,该LLM预测和计划在考虑导航说明和关键场景的同时,可以精确的未来轨迹。在Langauto基准测试中,与SOTA方法相比,我们的模型在驾驶得分上的性能高达18.9%。
主要关键词