机构名称：
¥ 1.0
摘要。寻求完全自动驾驶汽车（AV），能够以人类的理解和响应能力来浏览复杂的现实情况。在本文中，我们介绍了海豚，这是一种新颖的视觉语言模型，以吸收人类的能力，成为一名自治驾驶助手。海豚擅长处理包括视频（或图像）数据，文本指令和历史控制信号的多模式输入，以生成与提供指令相对应的知情输出。在开源的视觉模型（OpenFlamingo）构建基础上，我们首先通过一般领域中创新的基础思维链（GCOT）过程来增强海豚的推理能力。然后，我们通过构建特定的指令数据并进行指导调整来将海豚定制到驾驶领域。通过BDD-X数据集的利用，我们将四个不同的AV任务设计为海豚，以促进对复杂驾驶场景的整体理解。因此，海豚的独特特征被描述为两个维度：（1）能够对复杂且长尾巴的开放世界驾驶场景和解决AV任务的范围进行全面理解，以及（2）通过反置式学习和错误恢复，包括无梯度的即时概述。该匿名演示可在https://vlm-driver.github.io/上获得。
海豚：驾驶的多模式语言模型
主要关键词
相关文件推荐
