查看,捕获车辆导航和决策的基本细节。然而,由于缺乏信息通信和对象检测的合法化,减少端到端(E2E)BEV感知潜伏期而不牺牲准确性是具有挑战性的。先前的工作要么压缩密集检测模型以减少可能损害准确性并假定图像很好地同步的计算,要么集中于最坏情况的通信延迟而不考虑对象检测的特征。为了应对这一挑战,我们提出了RT-BEV,这是旨在将消息通信和对象检测配合的第一帧工作,以改善实时E2E BEV感知而不牺牲准确性。RT-BEV的主要见解在于为了确保AV安全性的发电环境和上下文感知的感兴趣的区域(ROI),并结合Roi Awawaweawears的消息通讯。rt-bev具有ROI Aware Camera Synchronizer,该相机同步器根据ROI的覆盖范围自适应地确定消息组和允许延迟。我们还开发了一个ROI Generator来建模上下文感知的ROI和功能拆分和合并Component,以有效处理可变大小的ROI。此外,时间预测指标预测了处理ROI的时间表,并且协调员共同优化了整个E2E管道的延迟和准确性。我们已经在基于ROS的BEV感知管道中实现了RT-BEV,并使用Nuscenes数据集进行了评估。此外,RT-BEV显示可将最坏情况的E2E潜伏期减少19.3倍。rt-bev显示可显着提高实时BEV感知,使平均E2E潜伏期降低1.5倍,保持高平均平均精度(MAP),将处理的帧数增加一倍,并提高框架效率分数(FES),而不是现有方法相比。
主要关键词