机构名称：
¥ 1.0
许多现有的运动预测方法都依赖于符号感知输出来生成代理轨迹，例如边界框，路图信息和traf-fight。这种符号表示是现实世界的高级表现，它可能会使运动预测模型容易受到感知错误的影响（例如，在检测开放式录音障碍时失败），而缺少场景中的显着信息（例如，糟糕的道路条件）。另一种范式是从原始传感器中端到端学习。但是，这种方法缺乏解释性，需要大量的培训资源。在这项工作中，我们提出将视觉世界的标记化为一组紧凑的场景元素，然后利用预先训练的图像基础模型和LiDAR神经网络以开放式播音方式进行编码所有场景元素。图像基础模型使我们的场景令牌可以编码开放世界的一般知识，而LiDAR神经网络编码几何信息。我们提出的表示形式可以有效地用几百个令牌编码多帧多模式观察，并且与大多数基于变压器的体系结构兼容。为了评估我们的方法，我们使用了带有凸轮嵌入的Waymo开放运动数据集。通过Waymo开放运动数据集进行的实验表明，我们的方法会导致对最先进的表现的显着改善。
大多数：运动预测的多模式场景象征化
主要关键词
相关文件推荐
