XiaoMi-AI文件搜索系统
World File Search System几何信息
大多数：运动预测的多模式场景象征化
许多现有的运动预测方法都依赖于符号感知输出来生成代理轨迹，例如边界框，路图信息和traf-fight。这种符号表示是现实世界的高级表现，它可能会使运动预测模型容易受到感知错误的影响（例如，在检测开放式录音障碍时失败），而缺少场景中的显着信息（例如，糟糕的道路条件）。另一种范式是从原始传感器中端到端学习。但是，这种方法缺乏解释性，需要大量的培训资源。在这项工作中，我们提出将视觉世界的标记化为一组紧凑的场景元素，然后利用预先训练的图像基础模型和LiDAR神经网络以开放式播音方式进行编码所有场景元素。图像基础模型使我们的场景令牌可以编码开放世界的一般知识，而LiDAR神经网络编码几何信息。我们提出的表示形式可以有效地用几百个令牌编码多帧多模式观察，并且与大多数基于变压器的体系结构兼容。为了评估我们的方法，我们使用了带有凸轮嵌入的Waymo开放运动数据集。通过Waymo开放运动数据集进行的实验表明，我们的方法会导致对最先进的表现的显着改善。
野生机器人生长植物的时空一致地图
摘要 - 跟踪生长植物的变化对于自动化表型和管理农作物的机器人很重要。在本文中，我们提出了一个系统，该系统使用沿农作物行的3D植物模型，以使机器人平台能够定位自身，即使存在重大变化并变形模型以使场景描述适应新测量。尤其是，由于消费者的成本效益和在真实平台上的部署易用性，我们专注于消费者RGB-D摄像机。我们的方法利用了现代的深度学习特征描述和几何信息，以获得与时间遥远会话相对应的3D点之间的匹配。然后，我们在非刚性注册管道中使用关联来获得最终结果，这是反映植物变化的3D模型的更新表示。使用标准的RGB-D传感器，我们在录制在温室中的现实世界数据集上验证了我们的方法。我们获得了植物的准确4D模型，并随着时间的推移跟踪植物特征的演变。我们通过实验表明我们的方法适用于插值植物器官的进化，这是对表型性状测量的有用结果。我们将我们的方法视为朝着野外机器人农业4D重建的相关步骤。
相干态的乌尔曼相和乌尔曼-贝里对应关系
Berry相[1]通过绝热循环过程后获得的相位揭示了量子波函数的几何信息，它的概念为理解许多材料的拓扑性质奠定了基础[2–13]。Berry相理论建立在纯量子态上，例如基态符合零温统计集合极限的描述，在有限温度下，密度矩阵通过将热分布与系统所有状态相关联来描述量子系统的热性质。因此，将Berry相推广到混合量子态领域是一项重要任务。已有多种方法解决这个问题[14–21]，其中Uhlmann相最近引起了广泛关注，因为它已被证明在多种一维、二维和自旋j系统中在有限温度下表现出拓扑相变[22–26]。这些系统的一个关键特征是 Uhlmann 相在临界温度下的不连续跳跃，标志着当系统在参数空间中穿过一个循环时，底层的 Uhlmann 完整性会发生变化。然而，由于数学结构和物理解释的复杂性，文献中对 Uhlmann 相的了解远少于 Berry 相。此外，只有少数模型可以获得 Uhlmann 相的解析结果 [ 22 – 30 ] 。Berry 相是纯几何的，因为它不依赖于感兴趣量子系统时间演化过程中的任何动力学效应 [ 31 ] 。因此，Berry 相理论可以用纯数学的方式构建。概括地说，密度矩阵的 Uhlmann 相是从数学角度几乎平行构建的，并且与 Berry 相具有许多共同的几何性质。我们将首先使用纤维丛语言总结 Berry 相和 Uhlmann 相，以强调它们的几何特性。接下来，我们将给出玻色子和费米子相干态的 Uhlmann 相的解析表达式，并表明当温度趋近于零时，它们的值趋近于相应的 Berry 相。这两种相干态都可用于构造量子场的路径积分 [32 – 37]。虽然单个状态中允许有任意数量的玻色子，但是泡利不相容原理将单个状态的费米子数限制为零或一。因此，在玻色子相干态中使用复数，而在费米子相干态中使用格拉斯曼数。玻色子相干态也用于量子光学中，以描述来自经典源的辐射 [38 – 41]。此外，相干态的Berry相可以在文献[ 42 – 45 ]中找到，我们在附录A中总结了结果。我们对玻色子和费米子相干态的 Uhlmann 相的精确计算结果表明，它们确实携带几何信息，正如完整概念和与 Berry 相的类比所预期的那样。我们将证明，两种情况下的 Uhlmann 相都随温度平稳下降，没有有限温度跃迁，这与先前研究中一些具有有限温度跃迁的例子形成鲜明对比 [ 22 – 30 ] 。当温度降至零度时，玻色子和费米子相干态的 Uhlmann 相接近相应的 Berry 相。我们对相干态的结果以及之前的观察结果 [ 22 , 24 , 26 ] 表明，在零温度极限下，Uhlmann 相还原为相应的 Berry 相。
grnet：G-PCC压缩的几何恢复...
摘要 - 基于损耗的几何点云压缩（G-PCC）不可避免地会损害点云的几何信息，这在诸如分类等任务等任务中的重新结构和/或误导决策中降低了经验质量（QOE）。为了解决它，这项工作提出了GRNET，以恢复G-PCC压缩大规模点云的几何形状。通过分析原始和G-PCC压缩点云的内容特性，我们将G-PCC失真归因于两个关键因素：点消失和点位移。点云上的可见障碍通常由个体因素或由两个因素施加的超级因素主导，这取决于原始点云的密度。为此，我们采用了两个不同的模型进行坐标重建，称为坐标扩展并分别攻击点消失和位移点。INADDITION，4- byteauxilaryDensitySinformation在BITSTREAM中发出信号，以帮助选择扩展，协调坐标，坐标，或它们的组合。在被送入坐标重建模块中之前，G-PCC压缩点云首次是由用于多尺度信息融合的特征分析模块处理的，其中基于K NN的变压器在每个尺度上都利用了基于K的变压器，以适应邻域几何学的邻域几何学动力学来有效恢复。以MPEG标准化委员会建议的常见测试条件显着提高了G-PCC锚点，并且在各种点云（例如，实心，密度和稀疏的样品）上的最先进方法均超过了最先进的方法。同时，与现有基于学习的方法相比，GRNET运行速度相当快，并且使用较小的模型，从而使其对行业从业人员有吸引力。
配置操纵计划的空间距离字段
摘要 - 签名的距离字段（SDF）是机器人技术中流行的隐式形状表示形式，提供有关对象和障碍物的几何信息，形式可以很容易地与控制，优化和学习技术相结合。最常使用SDF来表示任务空间中的距离，这与我们在3D世界中感知到的距离熟悉的概念相对应。但是，可以在数学上使用SDF在其他空间中，包括机器人配置空间。对于机器人操纵器，此配置空间通常对应于机器人的每个关节的关节角度。在机器人计划中习惯表达出配置空间的哪些部分与障碍物相撞，但将此信息视为配置空间中的距离字段并不常见。在本文中，我们演示了在机器人配置空间中考虑SDF进行优化的潜力，我们称之为配置空间距离字段（或简称CDF）。与在任务空间中使用SDF相似，CDF提供了有效的关节角距离查询并直接访问衍生物（关节角速度）。大多数方法将整体计算分为任务空间中的一部分，然后是配置空间中的一部分（评估任务空间的距离，然后使用逆运动学的计算操作）。相反，CDF允许以统一的方式通过控制，优化和学习问题来利用隐式结构。特别是，我们提出了一种有效的算法来计算和融合CDF，可以推广到任意场景。也提出了使用多层感知器（MLP）的相应神经CDF表示，以获得紧凑而连续的表示，同时提高计算效率。我们通过平面避免示例来证明CDF的有效性，以及在逆运动学和操纵计划任务中使用7轴的Franka机器人。项目页面：https：//sites.google.com/view/cdfmp/home
![arxiv：2411.18623v1 [cs.cv] 2024年11月27日](/simg/g:\will\search\icon\source\f\ffb70dc031055f868005f7e395f79b8254f9bcda.webp)
arxiv：2411.18623v1 [cs.cv] 2024年11月27日
基于视觉的操纵政策的基本目标是了解场景并预测相应的3D姿势。一些现有的方法利用2D图像作为输入来直接预测3D末代效果通过增强学习[1、12、21、30、50、83]或模仿学习[6、13、13、18、39、43、43、46、94、98]。尽管这些方法可以有效地处理一系列操纵任务，但它们不完全了解物理世界中的空间关系和3D结构[16，19，67，69，95]。在机器人操作中，3D几何信息对于应对复杂任务至关重要，因为机器人必须感知3D环境，有关几何关系的原因以及具有复杂的空间配置。最近的研究越来越集中于机器人操作任务中3D特征表示的明确提取，可以将其分为两组。一方面，某些方法直接编码点云数据[8、32、49、69、73、86、93]，要么训练从头开始训练3D策略模型，要么是对预处理的点云启动器（即PointNetNet ++ [58]和PointNext [59]）。然而，大规模机器人3D数据和基础模型的有限可用性限制了其概括性的capabilies。此外，处理3D或体素特征会在现实世界应用中造成大量的计算成本，阻碍可伸缩性和实用性。”为了解决这个问题，我们提出了Lift3D框架，该工作提升了基于变压器的2D基础模型（例如Dinov2 [56]或Clip [61]）以构建Ro-Bust 3D操纵策略逐步。另一方面，某些方法涉及转换方式，例如将预验证的2D特征提升为3D空间[22，36，67，78]，或将3D点云投影到多视图图像中，以输入2D预审计的模型[23，24，76，89]。尽管在几个下游的射击任务上表现出了有希望的表现，但这些模态转换不可避免地会导致空间信息的丧失，阻碍了机器人的痛苦，以了解3D空间关系。基于上述3D政策的挑战，我们提出了一个问题：“我们可以开发一个3D策略模型，该模型集成了大规模预审计的知识，同时结合了完整的3D空间数据输入？Lift3D的主要见解首先是增强隐式3D机器人代表，然后明确编码点云数据以进行策略模仿学习。对于隐式3D机器人表示，我们设计了一种任务意识的蒙版自动编码器（MAE），该自动编码器（MAE）以自我监督的方式处理2D图像并重建3D地理信息，如图1 A所示）。具体来说，我们利用机器人操作[25，55]的大规模未标记数据集，并利用多模型模型（即剪辑）来根据任务文本描述提取图像注意图。然后将这些注意图回到2D输入中，以引导MAE