XiaoMi-AI文件搜索系统
World File Search SystemLiDAR
郊游，Advantech和Intel提供基于激光雷达的空间智能
LIDAR传感器和相机连接到基于Intel Core处理器的Advantech MIC 770 PC，该PC运行了郊外偏移软件。系统使用一个CPU核心为每个LIDAR流进行LIDAR数据，另外两个CPU内核来集成流，因此两个激光盆仅需要四个核。虽然Lidar使用CPU内核，但Intel SceneScape使用集成的GPU在相机框架上执行视频分析，然后将两者的输出合并在一起创建数字双胞胎。图2显示了系统如何一起工作。
bafusion：基于LIDAR和摄像机的3D对象检测的双向注意融合
摘要：3D对象检测是自动驾驶和机器人技术的一项具有挑战性且有前途的任务，从LIDAR和相机等多传感器融合中受益匪浅。传感器融合的常规方法依赖于投影矩阵来对齐LiDAR和相机的特征。但是，这些方法通常遭受灵活性和鲁棒性不足，从而在复杂的环境条件下导致对齐精度降低。解决这些挑战，在本文中，我们提出了一个新型的双向注意融合模块，该模块名为Bafusion，该模块有效地使用跨注意力从激光雷达和照相机中融合了信息。与常规方法不同，我们的浮雕模块可以自适应地学习跨模式的注意力，从而使方法更加灵活和健壮。从2D Vision中的高级注意优化技术中汲取灵感，我们开发了集合的线性注意融合层（CFLAF层），并将其集成到我们的小管道中。该层优化了注意机制的计算复杂性，并促进了图像和点云数据之间的高级相互作用，展示了一种新的方法来解决跨模式注意计算的挑战。我们使用各种基线网络（例如Pointpillars，Second和A Part-A 2）在KITTI数据集上评估了我们的方法，并在这些基准线上表现出了3D对象检测性能的一致改进，尤其是对于骑自行车的人和骑行者等较小的对象。我们的方法在Kitti基准测试中取得了竞争成果。
PIN-SLAM：LIDAR使用基于点的隐式神经表示来实现全球地图一致性
图1：我们使用基于弹性点的隐式神经图表示，这是一种新型的LIDAR SLAM系统。在中间描绘的是，我们使用大约20,000个带有汽车记录的LiDAR扫描的大规模全球一致的神经点图，而无需使用GNSS，IMU或车轮频能计的任何信息。我们可以从神经点图和重建表面网格的任意位置查询SDF值。点颜色表示在线优化后的神经点功能。在左侧，我们显示了一致的神经点（顶部）和网眼（底部），该区域多次由沿线橙色盒子指示的汽车穿过。当添加到地图中时，神经点（顶部）的颜色表示时间步。在右侧，我们显示了从一个用虚线的蓝色盒子指示的区域的神经点图（顶部）重建的建筑物的高层网格（底部）。
基于激光雷达的3D时间对象通过运动...
摘要：最近，行业对自动驾驶的需求不断增长，引起了对3D对象检测的极大兴趣，从而导致许多出色的3D对象检测算法。但是，大多数3D对象检测器仅专注于一组激光雷达点，而忽略了它们通过利用连续的激光雷达点提供的信息来提高性能的潜在能力。在本文中，我们提出了一种新颖的3D对象检测方法，称为时间运动感知3D对象检测（TM3DOD），该方法利用了时间发光剂数据。在提出的TM3DOD方法中，我们通过使用连续的BEV特征映射生成运动功能来汇总LIDAR VOXER和当前BEV特征。首先，我们提出了时间体素编码器（TVE），该编码器（TVE）通过捕获体素内的点集之间的时间关系来生成体素表示。接下来，我们设计一个运动吸引特征聚合网络（MFANET），该网络旨在通过量化两个连续的BEV特征图之间的时间变化来增强当前的BEV特征表示。通过分析BEV特征图随时间推移的差异和变化，MFANET捕获运动信息并将其集成到当前特征表示中，从而使3D对象更加可靠，更准确地检测。对Nuscenes基准数据集的实验评估表明，与基线方法相比，提出的TM3DOD方法在3D检测性能方面取得了显着改善。此外，我们的方法与最先进的方法达到了可比的性能。
Opensight：基于LIDAR的对象检测的简单开放式摄影框架
摘要。传统的基于LIDAR的对象检测研究的基础侧重于封闭场景，该场景在复杂的现实世界应用中差不多。直接将现有的2D开放式视频计学模型转移到具有一些已知的LiDAR类别以进行开放式摄氏度的能力，但往往会遇到过度拟合的问题：获得的模型将检测到已知的对象，甚至呈现出新的类别。在本文中，我们提出了Opensight，这是一种基于激光雷达的开放式摄影检测的更高级的2D-3D建模框架。Opensight利用2D-3D几何先验来进行通用观察的初始识别和定位，然后对检测到的对象进行了更具体的语义解释。该过程首先从LIDAR的随附的相机图像中生成2D框。用LiDar点的这些2D盒子将其抬起回到激光雷达空间中，以估算相应的3D盒子。为了获得更好的通用对象感知，我们的框架都集成了时间和空间感知的约束。时间意识将连续时间戳跨预测的3D框关联，从而重新校准了错过或不准确的框。空间意识随机将一些“精确”估计的3D框以不同的距离估计，从而增加了通用对象的可见性。要解释检测到的对象的特定语义，我们开发了一个跨模式对齐和融合模块，以将3D特征与2D图像嵌入，然后融合为语义解码的对齐的3D-2D特征。我们的实验表明，我们的方法在广泛使用的3D检测基准上建立了最先进的开放式摄影性能，并有效地识别了对新类别感兴趣的对象。
sfpnet：用于一般激光雷德点云上语义分割的稀疏焦点网络
摘要。尽管LiDAR语义分割迅速发展，但最先进的方法通常融合了源自机械旋转激光雷的基准的专门设计的诱导偏差。这可以将模型的通用性限制在其他类型的LiDAR技术中，并使超参数调整更加复杂。为了解决这些问题，我们提出了一个广义框架，以通过我们稀疏的焦点调制来代替窗户注意力来适应市场中普遍存在的各种各样的发光剂。我们的SFPNET能够阐述多层上下文，并使用栅极机制动态聚集它们。通过实现渠道信息查询，编码包含本地和全局上下文的功能。我们还引入了一种新型的大型混合溶质激光雷达语义segmentation数据集，用于机器人应用。sfpnet表现出对源自机械旋转激光雷达的常规基准测试的竞争性能，同时在从固态激光拉尔的基准上实现最新结果。此外，它在我们的新型数据集中的现有方法胜过来自混合固体激光雷达的新型数据集。代码和数据集可从https://github.com/cavendish518/sfpnet和https://www.semanticindustry.top获得。
朝着物理意识到的深度学习体系结构用于激光雷达强度模拟
摘要：自动驾驶汽车（AVS）在很大程度上依靠LiDAR感知来了解环境的理解和导航。LIDAR强度提供了有关反射激光信号的有价值信息，并在增强AV的感知能力方面起着至关重要的作用。但是，由于环境中物体的材料特性不可用，并且激光束与环境之间的复杂相互作用，因此准确模拟激光雷达强度仍然是一个挑战。所提出的方法旨在通过将基于物理的模态纳入深度学习框架中来提高强度模拟的准确性。捕获激光束与物体之间相互作用的关键实体之一是入射角。在这项工作中，我们证明，将激光雷达的入射角作为单独的输入方式添加到深神经网络中可以显着增强结果。我们将这种新颖的输入方式整合到了两个突出的深度学习体系结构中：U-NET，一个卷积神经网络（CNN）和PIX2PIX，一种生成的对抗性网络（GAN）。我们研究了这两个体系结构的强度预测任务，并使用了Semantickitti和VoxelScape数据集进行实验。综合分析表明，这两种体系结构都从发射角中受益，作为附加输入。此外，Pix2Pix体系结构的表现优于U-NET，尤其是在合并入射角时。
使用LIDAR进行自主的实时对象检测...
该研究提出了三个关键的子问题：了解可靠对象检测的必要指标，探索当与摄像机/雷达信息结合使用时，LIDAR信息如何增强对象检测，并确定集成方法的限制。为了评估集成系统的有效性和鲁棒性，将在Kitti数据集中已经提供的各种情况下进行实验，考虑到不同的环境条件，照明变化和对象类型。实现阶段将利用在合适的硬件平台上运行的软件工具和库，包括Python和Tensorflow。道德考虑，数据隐私和同意将在整个研究中优先考虑。
树实例细分和特征估计林业环境利用移动机器人收集的LIDAR数据
摘要 - 森林在我们的生态系统中起着至关重要的作用，充当碳汇，气候稳定剂，生物多样性中心和木材来源。根据其规模的本质，监视和维护森林是一项艰巨的任务。林业中的机器人技术可能有可能实现高效和可持续的森林实践。在本文中，我们解决了通过利用移动平台收集的LIDAR数据自动生产森林清单的问题。要构建库存，我们首先从点云中提取树实例。然后，我们处理每个实例以提取林业清单信息。我们的方法提供了“胸高直径”的每个树几何特征，以及一个地块中的单个树位置。我们验证了我们的结果，以实地试验期间森林人收集的手动测量结果。我们的实验显示出强大的细分和树状估计表现，这强调了自动化林业服务的潜力。结果与该域中使用的流行基线方法相比，结果表现出了出色的性能。
感知少，生成更多：用蒙版自动编码器进行超高效率3D传感的训练激光雷达感知
摘要 - 在这项工作中，我们提出了一种破坏性节俭的激光雷达感知数据流，该数据流产生而不是感知环境的一部分，这些部分是基于对环境的广泛培训，或者对整体预测准确性的影响有限的。因此，所提出的方法将传感能量与训练数据进行交易，以获取低功率机器人和自动导航，以便用传感器省将，从而在一次电池充电时延长了其寿命。我们提出的为此目的提出的生成预训练策略称为径向掩盖的自动编码（R-MAE），也可以在典型的激光雷达系统中很容易实施，通过选择性激活和控制在现场操作过程中随机生成的角区域的激光功率。我们的广泛评估表明，使用R-MAE进行预训练可以重点关注数据的径向段，从而比常规程序更有效地限制了空间关系和对象之间的距离。因此，所提出的方法不仅降低了传感能量，而且还提高了预测准确性。例如，我们对Waymo，Nuscenes和Kitti数据集进行了广泛的评估表明，该方法在跨数据集的检测任务的平均精度提高了5％，并且从Waymo和Nuscenes转移到Kitti的检测任务的平均精度提高了4％。在3D对象检测中，它在KITTI数据集中的中等难度水平下，在AP中最多可增强小对象检测。即使使用90％的径向掩蔽，它在Waymo数据集中所有对象类中的MAP/MAPH中都超过了基线模型。此外，我们的方法在Nuscenes数据集上分别获得了MAP和NDS的3.17％和2.31％的提高，这表明了其在单个和融合的LIDAR相机模态方面的有效性。代码可在https://github.com/sinatayebati/radial Mae上公开获取。索引项 - lidar预训练，掩盖自动编码器，超有效的3D传感，边缘自治。