将驾驶行为适应新的环境,库斯和法律是自主驾驶中的一个长期问题,排除了澳大利亚车辆(AVS)的广泛部署。在本文中,我们提出了LLADA,这是一种简单而强大的工具,它使人类驾驶员和自动驾驶汽车都可以通过调整其任务和动作计划来在新的地方进行访问规则,从而在任何地方开车。llada通过利用大型语言模型(LLMS)在解释本地驾驶员手册中的流量规则方面的令人印象深刻的零弹性可推广性来实现这一目标。通过广泛的用户研究,我们表明LLADA的说明可用于消除野外野外未受的情况。我们还展示了LLADA在现实世界数据集中适应AV运动计划策略的能力; Llada优于我们所有指标的基线计划。请查看我们的网站以获取更多详细信息:Llada。
当前用于自动驾驶计算机视觉的深层神经网络(DNNS)通常在仅涉及单一类型的数据和urban场景的特定数据集上进行培训。因此,这些模型努力使新物体,噪音,夜间条件和各种情况,这对于安全至关重要的应用至关重要。尽管持续不断努力增强计算机视觉DNN的弹性,但进展一直缓慢,部分原因是缺乏具有多种模式的基准。我们介绍了一个名为Infraparis的新颖和多功能数据集,该数据集支持三种模式的多个任务:RGB,DEPTH和INDRARED。我们评估了各种最先进的基线技术,涵盖了语义分割,对象检测和深度估计的任务。更多可视化和
我们应对行人模拟中的内容多样性和收获性的挑战,以驱动方案。最近的行人动画框架具有重要的限制,其中他们主要关注轨迹[48]或参考视频[60]的内容,因此忽略了这种情况下人类运动的潜在多样性。这种限制限制了产生行人行为的能力,这些行为表现出更大的变化和现实动作,因此重新严格使用其用法,为驾驶模拟系统中的其他组件提供丰富的运动内容,例如,突然改变了自动驾驶汽车应响应的运动。在我们的方法中,我们努力通过展示从各种来源获得的各种人类动作(例如生成的人类运动)来超越限制,以遵循给定的轨迹。我们的框架的基本贡献在于将运动跟踪任务与轨迹结合到以下,这可以跟踪特定运动零件(例如上半身),同时遵循单个策略的给定轨迹。以这种方式,我们在给定情况下显着增强了模拟人类运动的分歧,以及内容的可控性,包括基于语言的控制。我们的框架有助于生成
广泛应用于自主驾驶中的基于深度学习的单眼深度估计(MDE)很容易受到对抗性攻击的影响。先前针对MDE模型的物理攻击依赖于2D广泛的补丁,因此它们仅影响MDE地图中的一个小型局部区域,但在各种观点下都失败了。为了解决这些限制,我们提出了3D深度傻瓜(3d 2傻瓜),这是对MDE模型的第一个基于3D纹理的对抗性攻击。3d 2傻瓜被专门优化,以生成3D对抗纹理对型号的车辆类型,并在恶劣天气条件(例如雨水和雾)中具有改善的鲁棒性。实验结果验证了我们3d 2傻瓜在各种情况下的出色性能,包括车辆,MDE Mod-els,天气状况和观点。现实世界中使用打印3D纹理的实验实验进一步表明,我们的3d 2傻瓜可能会导致超过10米的MDE误差。该代码可在https://github.com/gandolfczjh/3d2fool上找到。
虽然行为克隆最近已成为自主驾驶的非常成功的范式,但Humans很少学会通过单独的模仿或行为克隆来执行复杂的任务,例如驱动或行为。相比之下,人类的学习通常涉及在整个交互式学习过程中的其他详细指导,即通常通过语言的反馈提供详细的信息,以详细信息,以进行审判的哪一部分进行,不正确或次要地进行。以这种观察的启发,我们引入了一个有效的基于反馈的框架,用于改善基于行为克隆的传感驱动剂培训。我们的关键见解是利用大语模型(LLM)的重新进步,以提供有关驾驶预测失败背后的理由的纠正良好的反馈。更重要的是,我们引入的网络体系结构是有效的,是第一个基于LLM的驾驶模型的第一个感觉运动端到端培训和评估。最终的代理在Nuscenes上的开环评估中实现了最新的性能,在准确性和碰撞率上的表现优于先前的最新时间超过8.1%和57.1%。在卡拉(Carla)中,我们的基于相机的代理在以前的基于激光雷达的AP摄入率上提高了16.6%的驾驶得分。
要允许复制或重新出版,请联系美国航空与宇航学院1801 Alexander Bell Drive,Suite 500,Reston,VA,20191–4344
摘要我们提出了一种大型语言模型(LLM)的ChatScene-利用LLM的能力来为自动驾驶汽车的安全至关重要方案。给定的非结构化语言指令,代理首先使用LLMS生成文本描述的流量方案。这些SCE-NARIO描述随后被分解为几个子描述,以获取指定的细节,例如行为和车辆的位置。代理然后将文本描述的子筛选性转换为特定于域的语言,然后在模拟器中生成用于预测和控制的实际代码,从而促进了Carla Simulation Envimonment中的不同和复杂场景的创建。我们代理的关键部分是一个全面的知识检索组件,它通过训练包含情景描述和代码对的知识数据库来有效地将特定的文本描述转化为相应的特定领域代码段。广泛的实验结果强调了Chatscene在提高自动驾驶汽车安全性方面的功效。对于Intance,ChatScene产生的方案显示,与最先进的基线相比,在针对不同的基于强化的基于学习的自我车辆进行测试时,碰撞率增加了15%。此外,我们表明,通过使用我们生成的安全 - 关键方案来微调不同的基于RL的自主驾驶模型,它们可以降低碰撞率9%,超过Cur-Current Sota方法。代码可在https://github.com/javyduck/chatscene上找到。ChatScene有效地弥合了交通情况的文本描述与实际CARLA模拟之间的差距,从而提供了一种统一的方式,以方便地生成安全至关重要的方案,以进行安全测试和改进AVS。
- 消除公私合作伙伴关系的障碍,以加速气候行动项目,市长的信件旨在解锁绿色基础设施和可持续城市增长的急需资金。Urbanshift Africa论坛还将发布有关全球南部城市可持续财务行动和倡导的新路线图,该图案概述了市长及其团队可以开始行动并提倡气候行动的实际步骤。来自C40,Urbanshift和全球气候和能源市长盟约(GCOM)的新资源将帮助市长为清洁能源和公共交通等重要项目提供负担得起的融资。路线图(链接将于2月17日星期一1700次上线)还建议为城市提供更多的财务独立性,创建国家平台以协调努力,并将项目分组在一起,以吸引更多的投资。Freetown市长,C40城市的联合主席 Yvonne Aki-Sawyerr说:“非洲城市已经处于气候行动和创新的先锋范围内。 我们的青年人口已经在拥护气候行动并投资自己的未来。 “大约有70%的非洲人口35岁,年轻人正在利用技术,创造力和企业家精神来推动向可持续性转变。 现在是时候让国际金融界投资他们的能源和思想了。 “非洲的年轻人口意味着有足够的机会改变许多城市和许多居民的现实。Yvonne Aki-Sawyerr说:“非洲城市已经处于气候行动和创新的先锋范围内。我们的青年人口已经在拥护气候行动并投资自己的未来。“大约有70%的非洲人口35岁,年轻人正在利用技术,创造力和企业家精神来推动向可持续性转变。现在是时候让国际金融界投资他们的能源和思想了。“非洲的年轻人口意味着有足够的机会改变许多城市和许多居民的现实。“我们知道下一代已经准备好领导更绿色,更公平的未来的指控,现在,城市领导者有责任获得他们为我们所有人创造更绿色,更公平的未来所需的资源。”内罗毕州长萨卡贾·约翰逊(Sakaja Johnson)说:“我感到非常兴奋,C40决定主持绿色和韧性的Urbanshift非洲论坛,该论坛将带来非洲大陆上一些最大和领先的城市的代表到内罗毕。我们将继续利用技术和企业家精神来开发清洁能源解决方案,这些解决方案必须伴随着所有人的绿色,更公平的经济模式。“投资非洲的气候解决方案:预计最初投资的$ 1的预计回报为4美元,这是全球投资者的独特机会
