XiaoMi-AI文件搜索系统
World File Search System视图
自动驾驶的单视图和多视图深度的自适应融合
来自图像的深度估计是具有广泛应用的计算机视觉中的一个长期问题。对于基于视觉的自动驾驶系统，感知深度是理解道路对象和建模3D环境图的相关性的不可或缺的模块。由于深度神经网络用于求解各种视觉概率，因此基于CNN的方法[2-5，13，39 - 42，44，44，46，48，52]主导了各种深度基准。根据输入格式，它们主要将其分为多视图深度估计[3，13，23，26，44，45，51，53]和单视深度估计[14 - 16，19，37，38]。多视图方法估计深度的假设，即给定的深度，相机校准和摄像头姿势，这些像素应相似。他们依靠表现几何形状来三角形高质量深度。但是，多视图方法的准确性和鲁棒性在很大程度上依赖于相机的几何配置以及视图之间匹配的对应关系。首先，需要足够翻译相机以进行三角度。在自主驾驶的情况下，汽车可能会停在交通信号灯处或不移动而不移动，这会导致故障三角剖分。此外，多视图方法遭受动态对象和无动电区域的影响，它们在自动驱动方案中无处不在。另一个问题是对移动车辆的施加优化。在存在的大满贯方法中不可避免地噪声，更不用说具有挑战性和可取的情况了。具体来说，我们提出了一个两个分支网络，即例如，一辆机器人或自动驾驶汽车可以在不重新校准的情况下部署多年，原因是嘈杂的姿势。相比之下，作为单视图方法[14 - 16，19，37，38]依赖于对场景的语义理解和透视投影提示，它们对无纹理区域，动态对象，而不是依赖相机姿势更为易用。但是，由于规模歧义，其性能仍然远非多视图方法。在这里，我们倾向于考虑是否可以很好地结合两种方法的好处，以实现自主驾驶场景中的稳健和准确的单眼视频深度估计。尽管已经在先前的工作中探索了基于融合的系统[1，9]，但他们都假定了理想的相机姿势。结果是融合系统的性能甚至比单视深度估计的噪声姿势还差。为了解决这个问题，我们提出了一个新型的自适应融合网络，以利用多视图和单视图方法的优势，并减轻其缺点，以保持高度的精度，并在噪声姿势下提高系统的影响力。一个靶向单眼深度提示，而另一个则利用多视图几何形状。两个分支都预测了深度图和置信图。补充语义提示和边缘细节在多视图分支的成本汇总中丢失了
一种多视图聚类的锚点增强策略
近年来，基于锚点的方法在多视图聚类中取得了可喜的进展。这些方法的性能受到锚点质量的显著影响。然而，以前的研究生成的锚点仅仅依赖于单视图信息，忽略了不同视图之间的相关性。特别地，我们观察到相似的模式更有可能存在于相似的视图之间，因此可以利用这种相关性信息来提高锚点的质量，而这同样被忽略了。为此，我们提出了一种新颖的即插即用的通过视图相关性进行多视图聚类的锚点增强策略。具体而言，我们基于对齐的初始锚点图构建视图图来探索视图间相关性。通过从视图相关性中学习，我们使用相邻视图上锚点和样本之间的关系来增强当前视图的锚点，从而缩小相似视图上锚点的空间分布。在七个数据集上的实验结果证明了我们的方法优于其他现有方法。此外，大量的对比实验验证了所提出的锚增强模块应用于各种基于锚的方法时的有效性。
多视图3D对象检测的多视图actentive上下文化
我们介绍多视图的细心上下文化（MVACON），这是一种简单而有效的方法，用于改善基于查询的多视图3D（MV3D）对象检测中的2D- TO-3D功能。尽管在基于查询的MV3D对象检测的领域取得了显着的进展，但先前的艺术通常会因高分辨率的高分辨率2D特征而缺乏基于密集的注意力提升的高分辨率2D特征，或者由于高计算成本，或者由于3D Queries的高度密集地接地不足，无法以3D Queries的高度质量为基于稀疏注意的多级2D功能。我们提出的MVACON使用代表密集但计算稀疏的细心特征连续化方案击中了两只鸟，该方案对特定的2d到3d feleture提升方法不可知。在实验中，使用BEVFormer及其最近的3D变形注意（DFA3D）变体以及PETR对纳斯曲霉基准进行了彻底的测试，并显示出一致的检测性能提高，尤其是在位置，方向和VELOCITY PRECTICTAR中提高了一致的检测性能。还可以在Waymo-Mini基准测试器上进行测试，并具有类似的改进。我们在定性和定量上表明，基于全局群集的上下文有效地编码了MV3D检测的密集场景级上下文。我们提出的MVA-CON的有希望的结果加强了计算机视觉中的格言 - “（contectu-alsized）特征事项”。
LiDAR4D：用于新型时空视图 LiDAR 合成的动态神经场
尽管神经辐射场 (NeRF) 在图像新视图合成 (NVS) 方面取得了成功，但 LiDAR NVS 仍然基本上未被探索。以前的 LiDAR NVS 方法采用了与图像 NVS 方法的简单转变，同时忽略了 LiDAR 点云的动态特性和大规模重建问题。鉴于此，我们提出了 LiDAR4D，这是一个可微分的 LiDAR 专用框架，用于新颖的时空 LiDAR 视图合成。考虑到稀疏性和大规模特性，我们设计了一种结合多平面和网格特征的 4D 混合表示，以由粗到细的方式实现有效重建。此外，我们引入了从点云衍生的几何约束来提高时间一致性。对于 LiDAR 点云的真实合成，我们结合了光线丢弃概率的全局优化来保留跨区域模式。在 KITTI-360 和 NuScenes 数据集上进行的大量实验证明了我们的方法在实现几何感知和时间一致的动态重建方面具有优越性。代码可在 https://github.com/ispc-lab/LiDAR4D 获得。
一致的新型视图综合来自单个图像
我们介绍了Multidiff，这是一种新颖的方法，用于从单个RGB图像中始终如一地进行新颖的视图综合。从单个参考图像中综合新观点的任务是大自然的高度不足，因为存在多种对未观察到的区域的合理解释。为了解决这个问题，我们以单核深度预测变量和视频扩散模型的形式结合了强大的先验。单核深度使我们能够在目标视图的扭曲参考图像上调节模型，从而提高了几何稳定性。视频扩散先验为3D场景提供了强大的代理，从而使模型可以在生成的图像上学习连续和像素精度的对应关系。与依靠容易出现漂移和误差累积的自动格言形象生成的方法相反，Multidiff共同综合了一系列帧，产生了高质量和多视图一致的RE-
一种简单而有效的可扩展多视图张量聚类
基于锚点的大规模多视图聚类因其在处理海量数据集方面的有效性而引起了广泛关注。然而，当前的方法主要通过探索锚点图或投影矩阵之间的全局相关性来寻找用于聚类的共识嵌入特征。在本文中，我们提出了一种简单而有效的可扩展多视图张量聚类（S 2 MVTC）方法，我们的重点是学习视图内和跨视图的嵌入特征的相关性。具体而言，我们首先通过将不同视图的嵌入特征堆叠到张量中并旋转它来构造嵌入特征张量。此外，我们构建了一种新颖的张量低频近似（TLFA）算子，它将图相似性结合到嵌入特征学习中，有效地实现不同视图内嵌入特征的平滑表示。此外，对嵌入特征应用共识约束以确保视图间语义一致性。在六个大规模多视图数据集上的实验结果表明，S 2 MVTC 在聚类性能和 CPU 执行时间方面明显优于最先进的算法，尤其是在处理海量数据时。S 2 MVTC 的代码已公开发布在 https://github.com/longzhen520/S2MVTC。
egecentric 3D手姿势估计的单一对偶视图改编
对准确的3D手姿势估计的追求是理解以自我为中心视力领域的人类活动的基石。大多数现有估计方法仍然依赖单视图像作为输入，从而导致潜在的局限性，例如，深度有限的视野和义务。解决这些问题，添加另一个相机以更好地捕获手的形状是实践方向。然而，现有的多视图手姿势姿势方法具有两个主要缺点：1）重新训练的多视图注释，这些注释是备用的。2）在测试过程中，如果相机参数/布局与训练中使用的相同，则模型将变为inpapplicable。在本文中，我们提出了一种新颖的单算观看改编（S2DHAND）解决方案，该解决方案将预先训练的单视估计器适应双视图。与现有的多视图训练方法相比，1）我们的适应过程是无监督的，消除了对多视图注释的需求。2）此外，我们的方法可以处理带有未知相机参数的Arbitarary双视图对，从而使该模型适用于不同的相机设置。具体来说，S2DHAND建立在某些立体声约束上，包括两种视图之间的成对跨视图共识和转换的不变性。这两个立体声约束以互补的方式使用来进行伪标记，从而允许可靠的适应性。评估结果表明，在内部和跨数据库设置下，S2DHAND在任意摄像机对上实现了重大的实现，并且胜过具有领先性能的现有适应方法。项目页面：https：//github.com/ut-vision/s2dhand。
卫星和地面视图之间的跨注意，以增强细粒度的机器人地理位置
跨视图图像地理位置定位旨在通过用GPS标记的卫星图像补丁绘制当前的街道视图图像来确定户外机器人的位置。最近的作品在识别卫星贴片中达到了显着的准确性，该卫星贴片在机器人所在，其中将中央像素在匹配的卫星贴片中用作机器人粗糙位置估计。这项工作着重于机器人在已知的卫星贴片中的细粒度定位。现有的细颗粒定位工作利用相关操作来获得卫星图像本地描述符和街道视图全局描述符之间的相似性。基于衬里匹配的相关操作简化了两个视图之间的相互作用过程，从而导致距离误差很大并影响模型的概括。为了解决这个问题，我们设计了一个具有自我注意力和跨注意层的跨视图功能fu-sion网络，以取代相关操作。此外，我们将分类和回归预测结合在一起，以进一步降低位置距离误差。实验表明，我们的新型网络体系结构的表现优于最先进的，可以在看不见的地区更好的概括能力。具体而言，我们的方法在同一区域和在活力基准的同一区域和看不见的区域中分别将中位定位距离误差降低了43％和50％。
多视图脑肿瘤分割（MVBTS）
图2。平面和Triplanar网络的想法。（a）将轴向平面网络从轴向图像进行训练的CA，CCSA和SCSA网络的分割结果组合在一起以产生结果。同样，我们可以创建冠状合奏和矢状 - 合奏。（b）Triplanar网络的概述，在该网络中，从轴向，冠状图像和矢状图像中训练的单个注意网络（例如，CA网络）产生的分段结果合并为生成结果。通过在三个正交平面训练的CCSA和SCSA注意网络中生成类似的分段结果。
Eschernet：可扩展视图合成的生成模型
人类的视野。这种能力不仅对于诸如对象操纵和导航之类的实践日常任务至关重要，而且在培养人类创造力方面起着关键作用，使我们能够以深度，幽默感和沉浸感进行设想和制作对象。在本文中，我们重新审视了视图综合问题并提出：我们如何学习一般的3D表示以促进可扩展的视图综合？我们试图从以下两个观察结果中调查这个问题：i）到目前为止，目前的最新进展主要集中在训练速度和/或提高效率上[12，18，18，31，48]。值得注意的是，这些进步都共同依赖于体积渲染以进行场景优化。因此，所有这些视图合成方法固有地是场景特定的，再加上全局3D空间坐标。相比之下，我们主张一个范式移动，其中3D表示仅依赖场景颜色和几何形状，学习隐式表示无需地面真相3D几何形状，同时也从任何特定坐标系统中具有重要的独立性。这种区别对于实现可扩展性至关重要，以超越场景指编码所施加的约束。ii）本质上，视图合成更适合作为有条件的生成建模问题，类似于生成图像中的图像[25，60]。随着可用信息的增加，生成的场景变得更加限制，逐渐收敛于地面真相表示。仅给出一组稀疏的参考视图时，所需的模型应提供多个合理的预测，并利用生成表述中的固有随机性，并从自然图像统计信息和从其他图像和对象中学到的语义先验中获取见解。值得注意的是，现有的3D生成模型通常仅支持单个参考视图[20 - 23，44]。我们认为，更理想的生成配方应具有不同级别的输入信息。在这些见解的基础上，我们引入了Eschernet，这是一种图像到图像的条件扩散模型，用于视图合成。Eschernet利用了使用Dot-Product自我注意力的变压器体系结构[51]，以捕获参考对目标和目标对目标视图一致性之间的复杂关系。Eschernet中的一个关键创新是相机位置编码（CAPE）的设计，专门代表4个DOF（以对象）和6个DOF相机姿势。这种编码的速率空间结构进入令牌，使模型能够仅基于其相对摄像机的转换来计算查询和密钥之间的自我注意事项。总而言之，Eschernet表现出以下非凡的特征：•一致性：埃舍内特固有地整合了视图的固定性，这要归功于相机位置编码的设计，从而鼓励了对目标对目标和目标视图视图的一致性。