最近,智能路边基础设施(SRI)证明了实现完全自主驾驶系统的潜力。为了探索基础设施辅助的澳大利亚驾驶的潜力,本文介绍了Soar的设计和设计,这是第一个端到端的SRI系统,专门设计用于支持自动驾驶系统。SOAR由软件和硬件组件组成,该组件完全设计,旨在克服各种系统和物理挑战。soar可以利用像街道灯柱这样的现有运营基础,以使收养的障碍较低。SOAR采用了一种新的通信体系结构,该结构构建了双向多跳I2I网络和下行链路i2V广播服务,该服务以集成方式基于架子上的802.11ac接口而设计。SOAR还具有一个层次的DL任务管理框架,以实现节点之间的理想负载平衡,并使它们能够有效地协作以运行多个数据密集型自动驾驶应用程序。我们在校园现有的灯柱上总共部署了18个飞跃的节点,这些节点已经运作了两年多。我们的现实世界评估表明,Soar可以支持各种自主驾驶应用程序,并实现理想的实时性能和高度沟通的可靠性。我们在这项工作中的发现和经验为下一代智能路边基础设施和自主驾驶系统的开发和部署提供了关键的见解。
摘要 - 避免障碍物是自动驾驶的基本操作,其配方传统上源自机器人技术和决策控制领域。鉴于计算无障碍轨迹所需的高复杂性,通常需要对较低的频率计划层进行此操作,然后提供轨迹参考,然后是较高的频率控制层。每当需要重新启动时(例如,由于新检测到的障碍物),控制层必须等待生成新的计划轨迹。在本文中,我们提出了一种新颖的方法,以在控制层中避免障碍物,从而避免了求职者响应。尤其是我们展示了如何可以集成障碍物和参考跟踪,因此,在基于零空间的行为控制方法基于(可能是非线性)模型预测控制方案中实现的基于零空间的行为控制方法,无需在不同的控制器之间进行切换。我们证明了采用两种不同的车辆动态模型以及在四种不同(城市和高速公路)方案中使用的拟议方法论的实际实施。此外,我们提供了灵敏度分析,以了解参数选择如何影响自动化车辆行为。
摘要 - 针对分布(OOD)样本的鲁棒性是轨迹预测模型的关键性能指标。但是,最先进(SOTA)模型的开发和排名是由其在单个竞争数据集上的分布(ID)性能驱动的。我们提出了一个OOD测试协议,该协议在两个大规模运动数据集中均质化数据集和预测任务。,我们基于模型的输入和输出侧的代理轨迹和道路几何形状的多项式表示引入了一种新颖的预测算法。随着模型大小,训练工作和推理时间的较小,我们到达Sota Performence进行ID测试,并显着提高OOD测试中的鲁棒性。在我们的OOD测试方案中,我们进一步研究了SOTA模型的两种增强策略及其对模型概括的影响。强调ID和OOD性能之间的对比度,建议将OOD测试添加到轨迹预测模型的评估标准中。
摘要 - 语义分割和立体声匹配是用于自动驾驶的3D环境感知系统的两个基本组成部分。然而,传统方法通常独立解决这两个问题,并采用每个任务的单独模型。这种方法在现实情况下构成了实际限制,尤其是当计算资源稀缺或实时绩效是必须的。因此,在本文中,我们介绍了S 3 M-NET,这是一个新型的联合学习框架,旨在同时执行语义分割和立体声匹配。特别是S 3 M-NET共享从这两个任务之间从RGB图像中提取的功能,从而提高了整体场景理解能力。使用特征融合适应(FFA)模块实现此功能共享程序,该模块有效地将共享特征转换为语义空间,然后将它们与编码的差异功能融合在一起。整个联合学习框架是通过最大程度地减少新颖的语义一致性引导(SCG)损失来训练的,该损失强调了这两个任务的结构一致性。与其他最先进的单个任务网络相比,在VKITTI2和KITTI数据集上进行的广泛实验结果揭示了我们提出的联合学习框架的有效性及其优越的性能。我们的项目网页可在mias.group/s3m-net上访问。
摘要。对象检测的主题,涉及使汽车能够感知其环境的能力引起了更多的关注。为了更好地性能,对象检测算法通常需要大量的数据集,这些数据集经常被手动标记。此过程是充分的且耗时的。相反,模拟环境可以完全控制所有参数,并启用自动图像注释。Carla是一个专门用于自动驾驶研究的开源项目,就是这样的模拟器。本研究检查是否可以使用卡拉自动注释的模拟器数据来培训可以识别实际流量项目的对象检测模型。实验的发现表明,使用Carla的数据以及一些实际数据优化训练有素的模型令人鼓舞。Yolov5模型使用预验证的CARLA重量训练,与在2000 Kitti图像上受过训练的一项训练有素相比,所有性能指标均表现出改进。虽然它没有达到6000图像Kitti模型的性能水平,但增强确实很重要。MAP0.5:0.95得分的增强率约为10%,行人级别的改善最为明显。此外,可以证明,可以通过训练使用Carla数据的基本模型并使用Kitti数据集的较小部分对其进行微调来实现实质性的提升。此外,Carla Lidar图像在减少所需的真实图像的体积时的潜在效用是显而易见的。我们的代码可在以下网址找到:https://tinyurl.com/3fdjd9xb。
运动脑机接口 (BMI) 解码神经信号,帮助瘫痪患者移动和交流。尽管在过去二十年中取得了重大进展,但 BMI 仍面临着临床可行性的关键障碍。侵入式 BMI 可以实现熟练的光标和机械臂控制,但需要神经外科手术,对患者构成重大风险。非侵入式 BMI 没有神经外科手术风险,但性能较低,有时使用起来非常令人沮丧,阻碍了广泛采用。我们通过构建高性能的非侵入式 BMI 朝着打破这种性能风险权衡迈出了一步。17 限制非侵入式 BMI 解码器性能的关键限制是其较差的神经信噪比。为了克服这个问题,我们贡献了 (1) 一种新颖的 EEG 解码方法和 (2) 人工智能 (AI) 副驾驶,可以推断任务目标并帮助完成行动。我们证明,借助这种“AI-BMI”,结合使用卷积神经网络 (CNN) 和类似 ReFIT 的卡尔曼滤波器 (KF) 的新型自适应解码方法,健康用户和瘫痪参与者可以自主且熟练地控制计算机光标和机械臂。使用 AI 副驾驶可将目标获取速度提高 4 倍。在标准的中心向外光标控制任务中,目标获取速度提高了 3 倍,并使用户能够控制机械臂执行顺序拾取和放置任务,将 4 个随机放置的块移动到 4 个随机选择的位置。随着 AI 副驾驶的改进,这种方法可能会产生临床上可行的非侵入式 AI-BMI。26
其中y t是r n值系统状态x t的r m值观察。矩阵A,B,F和G取决于θT,W t和V t是独立的白色高斯噪音。最佳的非线性估计器涉及许多随时间t呈指数增加的卡尔曼过滤器。 IMM估计器[1,2]仅涉及N KALMAN过滤器,每种模式一个。为了补偿过滤器数量的减少,在每个估计周期开始时,N Kalman过滤器的估计值之间存在一个受控的相互作用/混合。[1]正式证明了这些相互作用/混合方程是精确的,而不是近似值。在每个估计周期结束时; IMM估计器计算过滤重量(模式概率)以及总体平均值和协方差。Bar-Shalom等。[3]给出了IMM估计器及其在跟踪和导航中的应用深度解释。运动学模型的Kalman过滤器[3]是低通滤波器。在(1)中,噪声增益少,带宽较低,适合几乎恒定的速度运动。用大B,它们具有更高的带宽,并且是
摘要 - 作为自主代理的LARGE语言模型(LLMS)为通过知识驱动的方式提供了一种新颖的途径来应对现实世界中的挑战。这些LLM增强方法在概括和解释性方面表现出色。,驾驶任务的复杂性通常需要多种异构代理的协作,从而强调了这种LLM驱动的代理人需要进行合作知识共享和认知协同作用。尽管有LLMS的承诺,但当前的应用程序主要集中在单位代理方案围绕单位方案,这限制了面对复杂的,相互联系的任务的范围。为了扩大知识驱动的策略的视野,并加强了自主代理的概括能力,我们提出了Koma框架的多代理相互作用,多代理相互作用,多步规划,共享 - 内存,基于等级的反射模式,以增强多机构在复杂的驾驶场景中的决策效果。基于框架生成的驾驶场景的文本描述,多代理交互模块使LLM代理可以根据场景信息(类似于人类认知)来分析和推断周围车辆的意图。多步规划模块使LLM代理能够逐层分析并获得最终的行动决策,以确保对短期行动决策的目标目标。共享内存模块可以积累集体经验以做出出色的决策,而基于排名的反射模块可以评估和改善代理行为,以增强驾驶安全性和效率。项目页面:https://jkmhh.github。io/ koma/。Koma框架不仅增强了自动驾驶剂的鲁棒性和适应性,而且还显着提高了其在各种情况下的概括能力。经验结果证明了我们的方法优于传统方法,尤其是在处理复杂,不可预测的驾驶环境的能力而没有广泛的重新培训的能力上。
我们根据多视图图像和标准定义图来解决通过澳大利亚驾驶车辆的场景推理问题。在此任务上开发型号对无人驾驶车辆的安全操作是有益的。我们参加了自主盛大挑战的无地图驾驶轨道,该挑战刺激了识别交通元素和车道中心线并了解其拓扑关系的模型的发展。使用带有头到区域机制的车道注意模块和相同的参考点初始ization策略,以端到端的方式进行了最新的LANESEGNENT系统。我们通过评估其编码机制中的替代骨架来探讨该系统的有效性。我们的分析表明,使用大于原始Resnet-50基线表现的主链性能。
动机:脑成像遗传学研究基因型数据(例如单核多态性(SNP)和成像定量性状(QTS))之间的复杂关联。神经退行性疾病通常表现出多样性和异质性,起源于该疾病,不同的诊断组可能会带有不同的成像QT,SNP及其相互作用。稀疏的规范相关分析(SCCA)被广泛用于识别双变量基因型 - 表型关联。然而,大多数现有的SCCA方法是无监督的,导致无法识别特定于诊断的基因型 - 表型关联。结果:在本文中,我们提出了一种名为MT – SCCALR的新联合多任务学习方法,该方法吸收了SCCA和逻辑回归的优点。MT – SCCALR共同学习多个任务的基因型 - 表型关联,每个任务都集中在识别一种诊断特定的基因型 - 表型模式上。同时,MT – SCCALR不仅可以为每个诊断组选择相关的SNP和成像QT,而且还允许将多个诊断组共享的SNP选择。我们得出了一种有效的优化算法,该算法可以保证其转化为局部最佳限度。与两种最先进的方法相比,MT – SCCALR产生更好或类似的规范相关系数和分类性能。此外,它拥有比竞争对手更好的判别规范权重模式。可用性和实施:该软件可在https://github.com/dulei323/mtsccalr上公开获得。这证明了MTSCCAR在识别诊断性异构基因型 - 表型模式方面的功能和能力,这将有助于了解脑疾病的病理生理学。联系人:dulei@nwpu.edu.cn或li.shen@pennmedicine.upenn.edu补充信息:补充数据可在Bioineformatics在线获得。