闭环模拟环境在自主驾驶系统(AD)的验证和增强中起着至关重要的作用。然而,某些挑战值得关注,包括平衡模拟准确性与持续时间平衡,将功能与实用性调和,并建立全面的评估机制。本文通过引入Limsim系列来解决这些挑战,这是一个综合模拟平台,旨在支持AD的快速部署和有效迭代。Limsim系列集成了来自道路网络的多类信息,采用了人类的决策和计划算法的背景车辆,并介绍了感兴趣领域(AOI)的概念(AOI)来优化计算资源。该平台提供了各种基线算法和用户友好的接口,从而促进了多个技术管道的灵活验证。此外,Limsim系列还包含了多维评估指标,对系统性能提供了彻底的见解,从而使研究人员能够迅速识别出进一步改进的问题。实验表明,LIMSIM系列与模块化,端到端和基于VLM的知识驱动系统兼容。它可以通过评估各种方案的性能来帮助迭代和更新广告。Limsim系列的代码发布于:https://github.com/pjlab-adg/limsim。
摘要 — 多模态大型语言模型 ((M)LLM) 的出现为人工智能开辟了新途径,尤其在自动驾驶领域,它提供了增强的理解和推理能力。本文介绍了 LimSim++,它是 LimSim 的扩展版本,专为 (M)LLM 在自动驾驶中的应用而设计。考虑到现有仿真平台的局限性,LimSim++ 满足了对支持自动驾驶持续学习和提高泛化能力的长期闭环基础设施的需求。该平台提供长时间、多场景模拟,为 (M)LLM 驱动的车辆提供关键信息。用户可以参与即时工程、模型评估和框架增强,使 LimSim++ 成为一个多功能的研究和实践工具。本文还介绍了一个基线 (M)LLM 驱动的框架,该框架通过在不同场景中的定量实验进行了系统验证。LimSim++ 的开源资源位于:https://pjlab-adg.github.io/limsim-plus/ 。索引词——自动驾驶汽车、闭环仿真、大型语言模型、知识驱动代理