XiaoMi-AI文件搜索系统
World File Search System驾驶的
面向自动驾驶的高效脑启发学习...
摘要：准确安全地预测周围车辆的轨迹对于完全实现自动驾驶 (AD) 至关重要。本文提出了类人轨迹预测模型 (HLTP++)，该模型模拟人类的认知过程以改进 AD 中的轨迹预测。HLTP++ 采用了一种新颖的师生知识提炼框架。配备自适应视觉区的“老师”模型模仿人类驾驶员根据空间方向、距离和驾驶速度等因素表现出的注意力动态分配。另一方面，“学生”模型侧重于实时交互和人类决策，与人类的记忆存储机制相似。此外，我们通过引入新的傅里叶自适应脉冲神经网络 (FA-SNN) 来提高模型的效率，从而可以用更少的参数进行更快、更精确的预测。使用 NGSIM、HighD 和 MoCAD 基准进行评估，HLTP++ 表现出比现有模型更优异的性能，在 NGSIM 数据集上将预测轨迹误差降低了 11% 以上，在 HighD 数据集上将预测轨迹误差降低了 25%。此外，HLTP++ 在输入数据不完整的具有挑战性的环境中表现出很强的适应性。这标志着在实现完全 AD 系统的过程中迈出了重要一步。
自主驾驶的多机构增强学习
摘要 - 强化学习（RL）是顺序决策的有效工具，并且已经在许多具有挑战性的现实世界任务中实现了人类能力。作为多代理系统域中RL的扩展，多代理RL（MARL）不仅需要学习控制策略，而且还需要考虑与环境中与所有其他代理的相互作用，以及不同的系统组件之间的相互影响以及计算资源的分布。这增加了算法设计的复杂性，并对计算资源提出了更高的要求。同时，模拟器对于获取现实数据至关重要，这是RL的基本原理。在本文中，我们首先提出了一系列模拟器指标，并总结了现有基准的功能。第二，为了简化理解，我们回想起基础知识，然后综合了最近对MAL相关的自动驾驶和智能运输系统的高级研究。具体来说，我们检查了他们的环境建模，状态表示，感知单位和算法设计。最终讨论了公开挑战，前景和机遇。我们希望本文能够帮助研究人员整合MARL技术，并触发更有洞察力的想法，以实现智能和自主驾驶。
学习的自主驾驶的多模式压缩
随着人工智能技术的快速发展，多模式学习已成为各种应用程序中数据处理和分析的强大范式，包括自主机器人和车辆[1]和大型语言模型[2]。通过整合来自各种模式的数据，多模式学习增强了AI系统的鲁棒性和适应性，从而提高了性能，并具有更大的能力，可以有效地解决现实世界中的Challenges。多模式学习的一种显着应用是在官方驾驶中，它使自动驾驶汽车（AVS）能够使用多种数据源（例如摄像头，LIDAR，雷达，雷达和超声传感器）来解释和响应其环境。这种不同数据类型的集成使机器的感知和决策更加准确，增强了车辆检测和理解对象，预测其运动并安全地驾驶复杂驾驶场景的能力。使用不同方式中包含的信息，AV可以实现更大的鲁棒性和可靠性，降低事故的风险，并改善各种和动态驾驶条件下的整体性能。AV传感器会生成大量数据[3]，根据传感器配置，每秒可能达到40千兆位（GBPS）。必须实时处理和分析这些数据，这需要大量能量，进而减少车辆的范围[4]。因此，无论是在板载处理还是使用未来的低延迟通信[5]来减少数据量，无论是在机载处理还是计算偏移到云服务上。因此，有效的压缩
在自主驾驶的背景下对加强学习的奖励功能的审查
摘要 - 肌形加密（HE）是用于构建隐私应用程序的常用工具。但是，在许多客户和高延迟网络的情况下，由于密码大小较大而引起的通信成本是bot-tleneck。在本文中，我们提出了一种新的压缩技术，该技术使用具有较小的密文的添加剂同构加密方案，以基于错误的学习（LWE）来压缩大型同构密文。我们的技术利用了此类密文的解密中的线性步骤，以将部分解密委托给服务器。我们达到的压缩比最高90％，这仅需要一个小的压缩密钥。通过同时压缩多个密文，我们的压缩率超过99％。我们的压缩技术可以很容易地应用于将LWE密文从服务器传输到客户端的应用程序，以作为对查询的响应。更重要的是，我们将技术应用于私人信息检索（PIR），其中客户端访问数据库而无需透露其查询。使用我们的压缩技术，我们提出了Zippir，这是一种PIR协议，它在文献中所有协议中达到了最低的总体通信成本。Zippir不需要在预处理阶段与客户进行任何通信，这是用于与短暂客户端或高延迟网络的PIR用例的绝佳解决方案。
在缺失观察下自动驾驶的物理信息轨迹预测
本文介绍了一种新型的自动驾驶汽车（AV）的轨迹预测方法，熟练解决了缺少观察的挑战以及在现实世界驾驶环境中遵守物理定律的需求。这项研究为AVS提供了分层的两阶段轨迹模型。在第一阶段，我们提出了小波重建网络，该网络是一种创新的工具，该工具专业地精心制作，用于重建缺失的观察，并提供与状态模型的可选集成，以增强其稳健性。ad的第二阶段，模型的第二阶段具有波融合编码器，这是一种量子力学启发的创新，用于复杂的车辆相互作用建模。通过合并运动学自行车模型，我们确保我们的预测与逼真的车辆运动学保持一致。融合了我们的方法论进步，我们引入了MocAd-Missing，这是一个全面的现实交通数据集，以及增强的NGSIM和HighD数据集的版本，旨在通过未观察到的环境进行严格的测试。广泛的评估表明，我们的方法明显超过了效果，即使在最多75％缺少观察结果的情况下，也达到了很高的精度。
cdstraj：以自主驾驶的轨迹预测为特征的扩散和时空相互作用网络
轨迹预测是Au ausostos驾驶（AD）中的一个基石，在使车辆能够在动态环境中安全有效地导航时发挥了关键作用。为了解决此任务，本文提出了一个新颖的轨迹预测模型，该模型是在面对异质和不确定的交通情况下为准确性而定制的。该模型的核心是特征性的扩散模块，这是一个创新的模块，旨在模拟具有固有不确定性的流量。该模块通过将其注入偏低的语义信息，从而增强了障碍预测准确性，从而富含预测过程。对此进行补充，我们的时空（ST）相互作用模块会导致交通情况对空间和时间段落的VEHILE动力学的细微效果，具有出色的有效性。通过详尽的评估，我们的模型设定了轨迹预测的新标准，实现最新的ART（SOTA）结果（NGSIM），高速公路无人机（Highd）和澳门相互互联的自动驾驶（MOCAD）数据集合（MOCAD）的简短和easated persalal temal spans。这种表现低估了该模型在浏览复杂的交通情况，包括高速公路，城市街道和交叉点的无与伦比的适应性和效率。
SGDCL：可解释自主驾驶的语义引导动态相关学习
通过学习表达表达，深度学习（DL）彻底改变了自主驾驶（AD）。尽管取得了重大进步，但DL模型的继承性不透明产生了公众的信任，阻碍了他们广泛采用的采用。为了表现出可行的自主驾驶，当前的研究主要专注于从现场提取特征，以预测驾驶动作及其响应解释。然而，这些方法不足以在动作和解释（这项工作中称为类别）中实现语义和相关性信息，从而导致了次优的性能。为了解决这个问题，我们提出了语义引导的动态相关性学习（SGDCL），这是一种新颖的方法，可以利用语义丰富性和动态相互作用与类别的内在性。sgdcl启用语义引导的学习模块，以获取特定于类别的表示和动态相关学习模块，以适应类别之间的复杂相关性。另外，我们引入了一个创新的损失术语，以利用类别的细粒度同时统计来进行精制正则化。我们可以在两个完善的基准上进行广泛评估SGDCL，这表明了它优于七个最先进的基线和一个大型视觉模型。SGDCL可显着促进可解释的自主驾驶，最多15个。3％的绩效提高和可解释的关注分数，增强了公众对AD的信任。
Koma：具有大型语言模型的自动驾驶的知识驱动的多代理框架
摘要 - 作为自主代理的LARGE语言模型（LLMS）为通过知识驱动的方式提供了一种新颖的途径来应对现实世界中的挑战。这些LLM增强方法在概括和解释性方面表现出色。，驾驶任务的复杂性通常需要多种异构代理的协作，从而强调了这种LLM驱动的代理人需要进行合作知识共享和认知协同作用。尽管有LLMS的承诺，但当前的应用程序主要集中在单位代理方案围绕单位方案，这限制了面对复杂的，相互联系的任务的范围。为了扩大知识驱动的策略的视野，并加强了自主代理的概括能力，我们提出了Koma框架的多代理相互作用，多代理相互作用，多步规划，共享 - 内存，基于等级的反射模式，以增强多机构在复杂的驾驶场景中的决策效果。基于框架生成的驾驶场景的文本描述，多代理交互模块使LLM代理可以根据场景信息（类似于人类认知）来分析和推断周围车辆的意图。多步规划模块使LLM代理能够逐层分析并获得最终的行动决策，以确保对短期行动决策的目标目标。共享内存模块可以积累集体经验以做出出色的决策，而基于排名的反射模块可以评估和改善代理行为，以增强驾驶安全性和效率。项目页面：https：//jkmhh.github。io/ koma/。Koma框架不仅增强了自动驾驶剂的鲁棒性和适应性，而且还显着提高了其在各种情况下的概括能力。经验结果证明了我们的方法优于传统方法，尤其是在处理复杂，不可预测的驾驶环境的能力而没有广泛的重新培训的能力上。
海豚：驾驶的多模式语言模型
摘要。寻求完全自动驾驶汽车（AV），能够以人类的理解和响应能力来浏览复杂的现实情况。在本文中，我们介绍了海豚，这是一种新颖的视觉语言模型，以吸收人类的能力，成为一名自治驾驶助手。海豚擅长处理包括视频（或图像）数据，文本指令和历史控制信号的多模式输入，以生成与提供指令相对应的知情输出。在开源的视觉模型（OpenFlamingo）构建基础上，我们首先通过一般领域中创新的基础思维链（GCOT）过程来增强海豚的推理能力。然后，我们通过构建特定的指令数据并进行指导调整来将海豚定制到驾驶领域。通过BDD-X数据集的利用，我们将四个不同的AV任务设计为海豚，以促进对复杂驾驶场景的整体理解。因此，海豚的独特特征被描述为两个维度：（1）能够对复杂且长尾巴的开放世界驾驶场景和解决AV任务的范围进行全面理解，以及（2）通过反置式学习和错误恢复，包括无梯度的即时概述。该匿名演示可在https://vlm-driver.github.io/上获得。