摘要 - 心肌梗塞(MI)是最普遍的心血管疾病之一,相关的临床决策通常基于单值成像生物标志物。但是,这种指标仅近似于心脏的复杂3D结构和生理,因此阻碍了对MI结果的更好理解和预测。在这项工作中,我们以点云的形式研究了完整的3D心形状的实用性,以改善对MI事件的检测。为此,我们提出了一条由3D心脏表面重建步骤组成的全自动多步管道,然后是点云分类网络。我们的方法利用了点云上的几何深度学习的最新进展,可以在心脏解剖学的高分辨率表面模型上进行直接有效的多尺度学习。我们评估了1068个英国生物银行受试者的方法,以实现普遍的MI检测和事件MI预测的任务,并在临床基准测试中分别提高了约13%和约5%的改善。此外,我们分析了每个心室和心脏相对于基于3D形状的MI检测的作用,并对通常与MI结果相关的形态和生理模式进行了视觉分析。
摘要 - 我们介绍了Point-LN,这是一种针对有效的3D点云分类设计的新型轻量级框架。点-LN整合了必需的非参数组件 - 最远的点采样(FPS),K-Nearest邻居(K-NN)和非可学习的位置编码 - 具有流线的可学习分类器,可以显着增强分类准确性,同时维持最小参数脚部。这种混合架构可确保较低的计算成本和快速推理速度,从而使Point-LN非常适合实时和资源受限的应用程序。在包括ModelNet40和ScanObjectnn在内的基准数据集的全面评估表明,与最先进的方法相比,Point-LN在提供出色的效率的同时,达到了竞争性能。这些结果将点ln建立为一种可靠的可扩展解决方案,用于各种点云分类任务,突出了其在各种计算机视觉应用中广泛采用的潜力。有关更多详细信息,请参见以下代码:https://github.com/asalarpour/point_ln。索引术语 - 3D点云分类,轻量级框架,非参数位置编码,机器学习,计算机视觉
方法和结果:虽然深层神经网络的新方法正在迅速发展[1],但足够且适当的训练数据(通常是带注释的点云)的瓶颈仍然是地球科学中许多应用的主要障碍。那些饥饿的学习方法取决于训练数据的适当域表示,这对天然表面和动态具有挑战性,在较高的阶层内变异性。通过VLS生成的合成激光元点云,例如,使用开源模拟器Helios ++ [3],可以解决一些解决方案,以克服缺乏给定任务的训练数据。在代表目标表面类的虚拟3D/4D场景中,可以模拟不同的激光雷达广告系列,所有生成的点云被自动注释。VLS软件(例如Helios ++)允许模拟给定场景的任何激光雷达平台和设置,该平台为数据增强提供了很高的潜力,并创建了针对特定应用程序的培训样品。在最近的实验[1]中,纯粹的合成训练数据可以实现类似的性能,以从现实世界中获得的昂贵标记的训练数据进行语义场景分类。
点云分类在各种机载光检测和测距 (LiDAR) 应用中发挥着重要作用,例如地形测绘、森林监测、电力线检测和道路检测。然而,由于机载 LiDAR 系统的传感器噪声、高冗余、不完整性和复杂性,点云分类具有挑战性。传统点云分类方法大多侧重于开发手工制作的点几何特征,并采用基于机器学习的分类模型进行点分类。近年来,深度学习模型的进步使得研究人员将重点转向基于机器学习的模型,特别是深度神经网络,来对机载 LiDAR 点云进行分类。这些基于学习的方法首先将非结构化的 3D 点集转换为常规的 2D 表示,例如特征图像集合,然后采用 2D CNN 进行点分类。此外,这些方法通常需要计算额外的局部几何特征,如平面度、球度和粗糙度,以利用原始三维空间中的局部结构信息。然而,3D到2D的转换会导致信息丢失。在本文中,我们提出了一种方向约束的全卷积神经网络(D-FCN),它可以将原始三维坐标和激光雷达强度作为输入;因此,它可以直接应用于非结构化三维点云进行sem
关键词:树冠覆盖、机载 LiDAR、图像数据、NDVI、数据融合 摘要:城市绿地,特别是城市树木,在提高城市宜居性方面发挥着关键作用。获得准确且最新的树冠覆盖图对于城市绿地的可持续发展至关重要。LiDAR 点云广泛用于建筑物和树木的测绘,并且已经提出了多种 LiDAR 点云分类技术用于自动测绘。然而,城市地区树冠形状的复杂性可能会影响从 LiDAR 数据自动提取树木的点云分类技术的有效性。多光谱影像为 LiDAR 数据提供互补信息,可以提高点云分类质量。本文提出了一种从融合的 LiDAR 点云和多光谱卫星图像数据中提取树冠覆盖的可靠方法。所提出的方法最初将每个 LiDAR 点与来自联合配准的卫星图像数据的光谱信息相关联。它计算每个 LiDAR 点的归一化差异植被指数 (NDVI) 值,并纠正被错误分类为建筑物的树点。然后,应用考虑 NDVI 值的树点区域增长。最后,利用分类为树点的 LiDAR 点生成树冠覆盖图。所提出的树冠性能
摘要:在输电线路勘测中,传统航测方法难以穿过植被、玉米地等地表附着物获取地表高程,而人工测绘方法在山区、丘陵地区存在效率低、成本高的缺点。本文利用机载激光雷达测绘技术,结合110kV输电线路工程勘测实例,基于点云分类结果生成高精度地表DEM,并基于点云提取单株木材信息,精确统计树木砍伐量,建立了全景模拟线路走廊工程地理信息系统,为线路方案优化、平面断面提取提供技术支持,并应用于工程中,对效果进行评估,具有实际意义。
Cheraghian 等人 [ 21 – 23 ] 在零样本 3 维模型分类方 面提出了 3 维点云的零样本学习方法、缓解 3 维零样 本学习中枢纽点问题的方法和基于直推式零样本学 习的 3 维点云分类方法,并将它们封装进一个全新 的零样本 3 维点云方法 [ 24 ] 中。以上方法均是利用已 知类样本的点云表征及其词向量对未知类别进行分 类,开创了零样本 3 维模型分类方法。近年来, CLIP 在零样本图像分类上取得了良好的效果,因此有研 究者将 CLIP 应用到零样本 3 维模型分类方法中, Zhang 等人 [ 25 ] 提出了基于 CLIP 的 3 维点云理解 (Point cloud understanding by CLIP, PointCLIP) 模型, PointCLIP 首先将 3 维点云投影成多个深度图,然 后利用 CLIP 的预训练图像编码器提取深度图特 征,同时将类别名称通过 CLIP 预先训练的文本编 码器提取文本特征。但是 PointCLIP 的性能受到深 度图和图像之间的域差异以及深度分布的多样性限 制。为了解决这一问题,基于图像 - 深度图预训练 CLIP 的点云分类方法 (transfer CLIP to Point cloud classification with image-depth pre-training, CLIP2Point) [ 26 ] 将跨模态学习与模态内学习相结合 训练了一个深度图编码器。在分类时,冻结 CLIP 的图像编码器,使用深度图编码器提取深度图特 征,该方法缓解了深度图和图像间的模型差异。用 于 3 维理解的图像 - 文本 - 点云一致性表征学习方法 (learning Unified representation of Language, Im- age and Point cloud for 3D understanding, ULIP) [ 27 ] 构建了一个图像、文本和点云 3 种模态的 统一嵌入空间,该方法利用大规模图像 - 文本对预 训练的视觉语言模型,并将 3 维点云编码器的特征 空间与预先对齐的视觉 - 文本特征空间对齐,大幅 提高了 3 维模型的识别能力。与之相似的是,基于 提示文本微调的 3 维识别方法 (CLIP Goes 3D, CG3D) [ 28 ] 同样使用 3 元组形式确保同一类别的 3 维模 型特征和图像特征之间以及 3 维模型特征和文本特 征之间存在相似性,从而使点云编码器获得零样本 识别的能力。另外, PointCLIP V2 [ 29 ] 在 Point- CLIP 的基础之上,通过利用更先进的投影算法和 更详细的 3 维模型描述,显着提高了零样本 3 维模型 分类准确率。本文采用语义增强 CLIP 解决图像和文 本的语义鸿沟问题,通过在语义层面为图像和文本 提供更多相似的语义信息,使图像和文本对齐更具有 一致性,从而有效提高 3 维模型的零样本分类性能。 2.2 提示工程
摘要:地形机载 LiDAR 数据的使用已成为考古勘探的重要组成部分。然而,作为迈向理论意识、影响力和可重复研究的一步,需要一种更严格和透明的数据处理方法。为此,我们着手创建一个处理流程,用于考古学专用的点云处理和针对通用数据优化的产品的派生。所提出的流程改进了地面和建筑物点云分类。所提出的流程的主要创新领域是栅格网格插值。我们通过引入一种混合插值技术改进了最先进的技术,该技术将反距离加权与带有线性插值的三角不规则网络相结合。其中包括用于增强可视化的最先进的解决方案,还生成了必要的元数据和辅助数据。此外,我们还引入了一个 QGIS 插件,将流程实现为一步到位的过程。它将手动工作量减少了 75% 到 90%,并且除了对 QGIS 环境的一般熟悉之外不需要任何特殊技能。该流程和工具旨在为考古专用机载 LiDAR 数据处理的白盒化做出贡献。在讨论中,探讨了数据处理在知识生产过程中的作用。
训练后量化(PTQ)已成为减少视觉变压器(VIT)的存储和计算成本的承诺解决方案。最近的进步主要是对制作量化器进行制作量化,以处理以VIT为特征的特殊激活。然而,大多数现有方法未列出重量序列产生的信息损失,从而导致严重的性能恶化,尤其是在低位案例中。此外,量化VIT后施加后激活的一种常见实践是对对数转换的影响,不幸的是,这对零左右的信息值较少。这种方法引入了其他冗余,最终导致了次序量化功效。为了处理这些内容,本文为VIT量身定制的创新PTQ方法称为AIQVIT(用于VIT S的训练后的训练后Q)。首先,我们设计了一个知情的低级补偿机制,其中引入了可学习的低级权重以补偿由权重量化引起的降解。第二,我们设计了动态的聚焦量化器,以适应后敏化后激活的不平衡分布,该分散量是为了动态地介绍更高量化的最有价值的间隔。对五个视觉任务的广泛实验,包括图像分类,对象检测,实例分割,点云分类和点云部分分割,证明了AIQVIT优于最先进的PTQ方法。