XiaoMi-AI文件搜索系统
World File Search System视图
多视图3D对象检测的多视图actentive上下文化
我们介绍多视图的细心上下文化（MVACON），这是一种简单而有效的方法，用于改善基于查询的多视图3D（MV3D）对象检测中的2D- TO-3D功能。尽管在基于查询的MV3D对象检测的领域取得了显着的进展，但先前的艺术通常会因高分辨率的高分辨率2D特征而缺乏基于密集的注意力提升的高分辨率2D特征，或者由于高计算成本，或者由于3D Queries的高度密集地接地不足，无法以3D Queries的高度质量为基于稀疏注意的多级2D功能。我们提出的MVACON使用代表密集但计算稀疏的细心特征连续化方案击中了两只鸟，该方案对特定的2d到3d feleture提升方法不可知。在实验中，使用BEVFormer及其最近的3D变形注意（DFA3D）变体以及PETR对纳斯曲霉基准进行了彻底的测试，并显示出一致的检测性能提高，尤其是在位置，方向和VELOCITY PRECTICTAR中提高了一致的检测性能。还可以在Waymo-Mini基准测试器上进行测试，并具有类似的改进。我们在定性和定量上表明，基于全局群集的上下文有效地编码了MV3D检测的密集场景级上下文。我们提出的MVA-CON的有希望的结果加强了计算机视觉中的格言 - “（contectu-alsized）特征事项”。
一种多视图聚类的锚点增强策略
近年来，基于锚点的方法在多视图聚类中取得了可喜的进展。这些方法的性能受到锚点质量的显著影响。然而，以前的研究生成的锚点仅仅依赖于单视图信息，忽略了不同视图之间的相关性。特别地，我们观察到相似的模式更有可能存在于相似的视图之间，因此可以利用这种相关性信息来提高锚点的质量，而这同样被忽略了。为此，我们提出了一种新颖的即插即用的通过视图相关性进行多视图聚类的锚点增强策略。具体而言，我们基于对齐的初始锚点图构建视图图来探索视图间相关性。通过从视图相关性中学习，我们使用相邻视图上锚点和样本之间的关系来增强当前视图的锚点，从而缩小相似视图上锚点的空间分布。在七个数据集上的实验结果证明了我们的方法优于其他现有方法。此外，大量的对比实验验证了所提出的锚增强模块应用于各种基于锚的方法时的有效性。
sgd：街道视图综合与高斯裂纹和扩散先验
为了自主驾驶模拟，早期尝试[8，32，35]部署游戏引擎来渲染图像。它不仅需要耗时的过程来重建虚拟场景，而且还需要以低现实主义的形式产生结果。，用于新型视图Synthesis（NVS）的神经渲染技术，例如神经辐射场（NERF）[21]和3D高斯分裂（3DGS）[14]，用于同步，以使照片现实主义的街道视图进行同步。当前的研究[4、10、20、23、28、39、43、47、48、51、59]主要是街道视图合成中面临的两个挑战：无界场景的重建和染色体对象的建模。尽管已经取得了令人兴奋的进度，但在现有作品中尚未很好地探索评估重建质量的关键问题。众所周知，理想的场景仿真系统应具有高质量的自由视线渲染的能力。目前的作品通常采用从vehicle捕获而在训练阶段却看不见的观点（例如图。1），同时忽略了偏离训练观点的小说观点（例如图。1）。处理这些新颖的观点时，呈现质量的降低明显降低，对现有作品的模糊和伪像，如图1。此问题归因于车辆收集的图像的固有约束视图。训练图像通常沿着车辆的行驶方向捕获，并以车辆的车道为中心。由于车辆的快速行驶速度，框架之间的超偏度有限，因此不允许对现场中的物体进行全面的多视觉观察。因此，可以从稀疏视图中将自动驾驶的街道视图综合任务理解为重建问题。
LiDAR4D：用于新型时空视图 LiDAR 合成的动态神经场
尽管神经辐射场 (NeRF) 在图像新视图合成 (NVS) 方面取得了成功，但 LiDAR NVS 仍然基本上未被探索。以前的 LiDAR NVS 方法采用了与图像 NVS 方法的简单转变，同时忽略了 LiDAR 点云的动态特性和大规模重建问题。鉴于此，我们提出了 LiDAR4D，这是一个可微分的 LiDAR 专用框架，用于新颖的时空 LiDAR 视图合成。考虑到稀疏性和大规模特性，我们设计了一种结合多平面和网格特征的 4D 混合表示，以由粗到细的方式实现有效重建。此外，我们引入了从点云衍生的几何约束来提高时间一致性。对于 LiDAR 点云的真实合成，我们结合了光线丢弃概率的全局优化来保留跨区域模式。在 KITTI-360 和 NuScenes 数据集上进行的大量实验证明了我们的方法在实现几何感知和时间一致的动态重建方面具有优越性。代码可在 https://github.com/ispc-lab/LiDAR4D 获得。
一致的新型视图综合来自单个图像
我们介绍了Multidiff，这是一种新颖的方法，用于从单个RGB图像中始终如一地进行新颖的视图综合。从单个参考图像中综合新观点的任务是大自然的高度不足，因为存在多种对未观察到的区域的合理解释。为了解决这个问题，我们以单核深度预测变量和视频扩散模型的形式结合了强大的先验。单核深度使我们能够在目标视图的扭曲参考图像上调节模型，从而提高了几何稳定性。视频扩散先验为3D场景提供了强大的代理，从而使模型可以在生成的图像上学习连续和像素精度的对应关系。与依靠容易出现漂移和误差累积的自动格言形象生成的方法相反，Multidiff共同综合了一系列帧，产生了高质量和多视图一致的RE-
自动驾驶的单视图和多视图深度的自适应融合
来自图像的深度估计是具有广泛应用的计算机视觉中的一个长期问题。对于基于视觉的自动驾驶系统，感知深度是理解道路对象和建模3D环境图的相关性的不可或缺的模块。由于深度神经网络用于求解各种视觉概率，因此基于CNN的方法[2-5，13，39 - 42，44，44，46，48，52]主导了各种深度基准。根据输入格式，它们主要将其分为多视图深度估计[3，13，23，26，44，45，51，53]和单视深度估计[14 - 16，19，37，38]。多视图方法估计深度的假设，即给定的深度，相机校准和摄像头姿势，这些像素应相似。他们依靠表现几何形状来三角形高质量深度。但是，多视图方法的准确性和鲁棒性在很大程度上依赖于相机的几何配置以及视图之间匹配的对应关系。首先，需要足够翻译相机以进行三角度。在自主驾驶的情况下，汽车可能会停在交通信号灯处或不移动而不移动，这会导致故障三角剖分。此外，多视图方法遭受动态对象和无动电区域的影响，它们在自动驱动方案中无处不在。另一个问题是对移动车辆的施加优化。在存在的大满贯方法中不可避免地噪声，更不用说具有挑战性和可取的情况了。具体来说，我们提出了一个两个分支网络，即例如，一辆机器人或自动驾驶汽车可以在不重新校准的情况下部署多年，原因是嘈杂的姿势。相比之下，作为单视图方法[14 - 16，19，37，38]依赖于对场景的语义理解和透视投影提示，它们对无纹理区域，动态对象，而不是依赖相机姿势更为易用。但是，由于规模歧义，其性能仍然远非多视图方法。在这里，我们倾向于考虑是否可以很好地结合两种方法的好处，以实现自主驾驶场景中的稳健和准确的单眼视频深度估计。尽管已经在先前的工作中探索了基于融合的系统[1，9]，但他们都假定了理想的相机姿势。结果是融合系统的性能甚至比单视深度估计的噪声姿势还差。为了解决这个问题，我们提出了一个新型的自适应融合网络，以利用多视图和单视图方法的优势，并减轻其缺点，以保持高度的精度，并在噪声姿势下提高系统的影响力。一个靶向单眼深度提示，而另一个则利用多视图几何形状。两个分支都预测了深度图和置信图。补充语义提示和边缘细节在多视图分支的成本汇总中丢失了
卫星和地面视图之间的跨注意，以增强细粒度的机器人地理位置
跨视图图像地理位置定位旨在通过用GPS标记的卫星图像补丁绘制当前的街道视图图像来确定户外机器人的位置。最近的作品在识别卫星贴片中达到了显着的准确性，该卫星贴片在机器人所在，其中将中央像素在匹配的卫星贴片中用作机器人粗糙位置估计。这项工作着重于机器人在已知的卫星贴片中的细粒度定位。现有的细颗粒定位工作利用相关操作来获得卫星图像本地描述符和街道视图全局描述符之间的相似性。基于衬里匹配的相关操作简化了两个视图之间的相互作用过程，从而导致距离误差很大并影响模型的概括。为了解决这个问题，我们设计了一个具有自我注意力和跨注意层的跨视图功能fu-sion网络，以取代相关操作。此外，我们将分类和回归预测结合在一起，以进一步降低位置距离误差。实验表明，我们的新型网络体系结构的表现优于最先进的，可以在看不见的地区更好的概括能力。具体而言，我们的方法在同一区域和在活力基准的同一区域和看不见的区域中分别将中位定位距离误差降低了43％和50％。
egecentric 3D手姿势估计的单一对偶视图改编
对准确的3D手姿势估计的追求是理解以自我为中心视力领域的人类活动的基石。大多数现有估计方法仍然依赖单视图像作为输入，从而导致潜在的局限性，例如，深度有限的视野和义务。解决这些问题，添加另一个相机以更好地捕获手的形状是实践方向。然而，现有的多视图手姿势姿势方法具有两个主要缺点：1）重新训练的多视图注释，这些注释是备用的。2）在测试过程中，如果相机参数/布局与训练中使用的相同，则模型将变为inpapplicable。在本文中，我们提出了一种新颖的单算观看改编（S2DHAND）解决方案，该解决方案将预先训练的单视估计器适应双视图。与现有的多视图训练方法相比，1）我们的适应过程是无监督的，消除了对多视图注释的需求。2）此外，我们的方法可以处理带有未知相机参数的Arbitarary双视图对，从而使该模型适用于不同的相机设置。具体来说，S2DHAND建立在某些立体声约束上，包括两种视图之间的成对跨视图共识和转换的不变性。这两个立体声约束以互补的方式使用来进行伪标记，从而允许可靠的适应性。评估结果表明，在内部和跨数据库设置下，S2DHAND在任意摄像机对上实现了重大的实现，并且胜过具有领先性能的现有适应方法。项目页面：https：//github.com/ut-vision/s2dhand。
多视图脑肿瘤分割（MVBTS）
图2。平面和Triplanar网络的想法。（a）将轴向平面网络从轴向图像进行训练的CA，CCSA和SCSA网络的分割结果组合在一起以产生结果。同样，我们可以创建冠状合奏和矢状 - 合奏。（b）Triplanar网络的概述，在该网络中，从轴向，冠状图像和矢状图像中训练的单个注意网络（例如，CA网络）产生的分段结果合并为生成结果。通过在三个正交平面训练的CCSA和SCSA注意网络中生成类似的分段结果。
微生物基因组的三种视图
局部重复是在小区域内发生的对称元素的出现（以100 bp为单位）。所有四种局部重复都可以参与特殊的DNA结构的形成 - 最著名的是十字形，可以通过倒重复序列形成。镜面重复序列可以形成非常不同的结构：分子内三链DNA，也称为triplex DNA和H-DNA [8]。加上三链部分，Triplex DNA还由一个单链部分组成，可以与另一个DNA混合；这被认为是同性重组的可能机制[21]。也存在与直接重复序列相关的特殊DNA结构，并且也存在重复的重复。直接重复可以形成所谓的滑动链DNA（S-DNA），这可能会导致框架移动muta-