IDKB

arxiv：2409.02914v1 [cs.cv] 4月4日2024

大型视觉模型（LVLM）最近引起了极大的关注，许多努力旨在利用其一般知识来增强自主驾驶模型的可靠性和鲁棒性。但是，LVLM通常依靠大型通用数据集，并且缺乏专业驾驶所需的专业专业知识。现有的视觉驱动数据集主要关注场景的理解和决策，而无需提供有关交通规则和驾驶技能的明确指导，这是与驾驶安全直接相关的关键方面。为了弥合这一差距，我们提出了IDKB，这是一个大规模数据集，其中包含从各个国家 /地区收集的一百万个数据项，包括驾驶手册，理论测试数据和模拟道路测试数据。很像获得驾驶执照的过程，IDKB几乎涵盖了从理论到实践所需的所有明确知识。在特殊情况下，我们对IDKB进行了15 lvlms的全面测试，以评估其在自治驾驶的背景下的可靠性，并提供了广泛的分析。我们还微调了流行模型，实现了显着的性能改进，这进一步验证了我们数据集的重要性。项目页面可以在以下网址找到：https：// 4dvlab.github.io/project_page/idkb.html