在本文中,我们介绍了Kyber-e2e提交给Carla Automous Driving(AD)Challenge的架构,CVPR2024。我们的解决方案包括经过独立培训的感知和计划模块。此外,我们采用了手工制作的模块来进行本地化和控制,以形成完整的AD管道。我们为精心手工制作的特权代理人提供了培训数据,以培训我们的看法和计划模块。尽管并不完美,但特权代理商成功地将Carla Leaderbaord 2.0中的所有场景成功提供了培训的可靠数据集。感知模块是从特权信息中以有监督的方式培训的。该计划模块最初是使用模仿学习来复制手工制作的特权代理的培训,后来在基于重放的仿真环境中进行了微调。
A100 GPU。批处理大小设置为64,随机GRA-211 DIENT下降(SGD)[2]和基本学习率为0.05。212训练包括100个时期,队列大小为213,动量编码器为3,276,800。类似于Mocov2 [4]中描述的En-214 Hancements,我们利用了相同的215损耗函数和数据增强技术; (2)点216云预测阶段。在此阶段,我们在32 nvidia a100 gpus上训练217型。训练涉及218使用5帧的历史多视图图像和迭代219 219变压器解码器6次,以预测点云220,即接下来的3秒钟,每个框架间隔为0.5 sec-221 ONDS。为了保存GPU内存,我们在每个训练步骤中分离出222个其他预测的梯度。使用ADAMW [8] Opti-224 Mizer,初始学习速率为2E-4的系统223的系统进行了8个预训练时期,并通过余弦退火策略调整了225。226
常规视觉系统旨在在晴朗的天气中执行。但是,任何室外视觉系统都是完整的,没有任何机制可以保证在较差的天气条件下表现令人满意的性能。众所周知,大气可以显着改变到达观察者的光能。因此,必须使用大气散射模型在恶劣的天气下使视觉系统健壮。在本文中,我们开发了一个几何框架,用于分析大气散射的色彩效应。首先,我们研究了一个简单的颜色模型,用于大气散射,并验证雾和雾度的颜色模型。然后,基于散射的物理学,我们在场景颜色变化上得出了几种几何形状,这是由于变化的大气状况而引起的。最后,使用这些约束,我们可以从不同但未知的天气条件下拍摄的两个或多个图像中恢复“真实”场景颜色来计算雾或雾化,深度分割,提取三维结构并恢复“真实”场景颜色。