LIDAR传感器和相机连接到基于Intel Core处理器的Advantech MIC 770 PC,该PC运行了郊外偏移软件。系统使用一个CPU核心为每个LIDAR流进行LIDAR数据,另外两个CPU内核来集成流,因此两个激光盆仅需要四个核。虽然Lidar使用CPU内核,但Intel SceneScape使用集成的GPU在相机框架上执行视频分析,然后将两者的输出合并在一起创建数字双胞胎。图2显示了系统如何一起工作。
摘要:最近,行业对自动驾驶的需求不断增长,引起了对3D对象检测的极大兴趣,从而导致许多出色的3D对象检测算法。但是,大多数3D对象检测器仅专注于一组激光雷达点,而忽略了它们通过利用连续的激光雷达点提供的信息来提高性能的潜在能力。在本文中,我们提出了一种新颖的3D对象检测方法,称为时间运动感知3D对象检测(TM3DOD),该方法利用了时间发光剂数据。在提出的TM3DOD方法中,我们通过使用连续的BEV特征映射生成运动功能来汇总LIDAR VOXER和当前BEV特征。首先,我们提出了时间体素编码器(TVE),该编码器(TVE)通过捕获体素内的点集之间的时间关系来生成体素表示。接下来,我们设计一个运动吸引特征聚合网络(MFANET),该网络旨在通过量化两个连续的BEV特征图之间的时间变化来增强当前的BEV特征表示。通过分析BEV特征图随时间推移的差异和变化,MFANET捕获运动信息并将其集成到当前特征表示中,从而使3D对象更加可靠,更准确地检测。对Nuscenes基准数据集的实验评估表明,与基线方法相比,提出的TM3DOD方法在3D检测性能方面取得了显着改善。此外,我们的方法与最先进的方法达到了可比的性能。
摘要:自动驾驶汽车(AVS)在很大程度上依靠LiDAR感知来了解环境的理解和导航。LIDAR强度提供了有关反射激光信号的有价值信息,并在增强AV的感知能力方面起着至关重要的作用。但是,由于环境中物体的材料特性不可用,并且激光束与环境之间的复杂相互作用,因此准确模拟激光雷达强度仍然是一个挑战。所提出的方法旨在通过将基于物理的模态纳入深度学习框架中来提高强度模拟的准确性。捕获激光束与物体之间相互作用的关键实体之一是入射角。在这项工作中,我们证明,将激光雷达的入射角作为单独的输入方式添加到深神经网络中可以显着增强结果。我们将这种新颖的输入方式整合到了两个突出的深度学习体系结构中:U-NET,一个卷积神经网络(CNN)和PIX2PIX,一种生成的对抗性网络(GAN)。我们研究了这两个体系结构的强度预测任务,并使用了Semantickitti和VoxelScape数据集进行实验。综合分析表明,这两种体系结构都从发射角中受益,作为附加输入。此外,Pix2Pix体系结构的表现优于U-NET,尤其是在合并入射角时。
摘要 - 在这项工作中,我们提出了一种破坏性节俭的激光雷达感知数据流,该数据流产生而不是感知环境的一部分,这些部分是基于对环境的广泛培训,或者对整体预测准确性的影响有限的。因此,所提出的方法将传感能量与训练数据进行交易,以获取低功率机器人和自动导航,以便用传感器省将,从而在一次电池充电时延长了其寿命。我们提出的为此目的提出的生成预训练策略称为径向掩盖的自动编码(R-MAE),也可以在典型的激光雷达系统中很容易实施,通过选择性激活和控制在现场操作过程中随机生成的角区域的激光功率。我们的广泛评估表明,使用R-MAE进行预训练可以重点关注数据的径向段,从而比常规程序更有效地限制了空间关系和对象之间的距离。因此,所提出的方法不仅降低了传感能量,而且还提高了预测准确性。例如,我们对Waymo,Nuscenes和Kitti数据集进行了广泛的评估表明,该方法在跨数据集的检测任务的平均精度提高了5%,并且从Waymo和Nuscenes转移到Kitti的检测任务的平均精度提高了4%。在3D对象检测中,它在KITTI数据集中的中等难度水平下,在AP中最多可增强小对象检测。即使使用90%的径向掩蔽,它在Waymo数据集中所有对象类中的MAP/MAPH中都超过了基线模型。此外,我们的方法在Nuscenes数据集上分别获得了MAP和NDS的3.17%和2.31%的提高,这表明了其在单个和融合的LIDAR相机模态方面的有效性。代码可在https://github.com/sinatayebati/radial Mae上公开获取。索引项 - lidar预训练,掩盖自动编码器,超有效的3D传感,边缘自治。
扩散模型(DMS)已经实现了最新的(SOTA),从而导致LIDAR点云生成任务,从而受益于他们在抽样过程中稳定的训练和迭代精炼。但是,DMS由于其固有的降解过程而经常无法实际对LiDAR Raydrop噪声进行建模。为了保留迭代采样的强度,同时增强了射线噪声的产生,我们引入了Lidargrit,这是一种生成模型,该模型使用自动回应变压器在潜在空间而不是图像空间中迭代采样范围图像。此外,lidargrit还利用VQ-VAE分别解码范围和射线罩。我们的结果表明,与Kitti-360和Kitti Odometry数据集中的SOTA模型相比,Lidargrit的性能表现出色。代码可用:https://github.com/hamedhaghighi/lidargrit。
在太空着陆操作期间,准确估计航天器的相对姿态对于确保安全成功着陆至关重要。本文提出了一种基于 3D 光检测和测距 (LiDAR) 的 AI 相对导航架构解决方案,用于自主太空着陆。所提出的架构基于混合深度循环卷积神经网络 (DR-CNN),将卷积神经网络 (CNN) 与基于长短期记忆 (LSTM) 网络的循环神经网络 (RNN) 相结合。获取的 3D LiDAR 数据被转换为多投影图像,并将深度和其他多投影图像输入 DRCNN。该架构的 CNN 模块可以有效地表示特征,而 RNN 模块作为 LSTM,可提供鲁棒的导航运动估计。我们考虑、模拟和实验了各种着陆场景,以评估所提出架构的效率。首先使用 PANGU(行星和小行星自然场景生成实用程序)软件创建基于 LiDAR 的图像数据(范围、坡度和海拔),然后使用这些数据对所提出的解决方案进行评估。建议使用 Gazebo 软件中的仪表化空中机器人进行测试,以模拟在合成但具有代表性的月球地形(3D 数字高程模型)上着陆的场景。最后,使用配备 Velodyne VLP16 3D LiDAR 传感器的真实飞行无人机进行真实实验,以在设计的缩小版月球着陆表面上着陆时生成真实的 3D 场景点云。所有获得的测试结果表明,所提出的架构能够通过良好合理的计算提供良好的 6 自由度 (DoF) 姿势精度。
摘要。本文介绍了德国莱布尼兹大气物理学研究所(54.12°N,11.77°E)的莱布尼兹大气物理学研究所的扩展的技术规格。升级的组件与现有的具有日光的雷利 - 米兰(RMR)温度激光雷达(RMR)温度激光雷达(RMR)温度激光雷达。新系统包括一个带有激光,望远镜和检测器的独立激光雷,该激光与(旧的)温度激光雷达同步并适应。结果,通过RMR激光雷达的组合,用三个(垂直和倾斜)梁探测了大气。这项工作旨在强调使用单边碘细胞技术来构建多普勒 - 雷利激光痛系统的最新创新,该技术允许同时测量风,温度和气溶胶。我们将详细介绍支撑子系统,这些子系统允许高度的激光自动化,并简单地提供有关该系统的关键技术信息,该系统将支持读者在额外的RMR风温型激光痛系统中的发展。我们展示了时间分辨的温度和风声,达到约90 km。这些数据与35至50 km之间的ECMWF-IF-ifs pro填充非常吻合,但显示出更大的可变性。在伴侣界中,我们将介绍与数据处理链相关的算法设计和不确定性预算。
摘要:基于激光雷达的3D对象检测和定位是自动导航系统的关键组成部分,包括自动驾驶汽车和移动机器人。大多数基于LIDAR的3D对象检测和定位方法主要使用LIDAR点云中的几何或结构特征抽象。但是,由于不利的天气条件或高度散射培养基的存在,这些方法可能会因环境噪声而易受环境噪声。在这项工作中,我们提出了一个强度感知的体素编码器,用于鲁棒3D对象检测。提出的体素编码器生成了一个强度直方图,该强度直方图描述了体素内点强度的分布,并用于增强体素特征集。我们将此强度感知的编码器集成到有效的单级体素检测器中,以进行3D对象检测。使用Kitti数据集获得的实验结果表明,我们的方法相对于3D检测中的CAR对象的最新方法,从鸟类的视图和行人和环体对象获得了可比的结果。此外,我们的模型可以在推理期间达到40.7 fps的检测率,该检测率高于最新方法的检测率,并产生较低的计算成本。
3D空间中本地化问题一直是科学研究中经常考虑的话题,并且近年来在实践解决方案中实施。本地化任务的基础分区是室外和室内方法[Erkan Bostanci和Clark,2013年]。室外的主要基于视觉标记,进程方法,加速度计,陀螺仪和地理位置(GPS)。在室内应用的情况下,具有跟踪运动算法的视觉系统(SLAM-同时定位和映射)以及从图像序列(来自运动的SFM-结构)重建几何结构(Pangilinan等人,2019年)非常重要。这些软件方法是在流行的Arcore和Arkit库中实现的。正在遵守李子本身及其应用的动态发展。也正在开发实施这些任务的开发人员工具,例如Vuforia和Immersal,这是本文的重点。各种方法用于重建场景
1斯图加特大学,斯图加特风能(SWE),全民5B,70569 Stuttgart,德国2 DTU风能系统,丹麦技术大学,Frederiksborgvej 399,Roskilde 4000,丹麦