XiaoMi-AI文件搜索系统
World File Search SystemCVF
量子多模型拟合 - CVF 开放获取
几何模型拟合是一个具有挑战性但又十分基础的计算机视觉问题。最近，量子优化已被证明可以增强单模型情况的稳健拟合，同时多模型拟合的问题仍未得到解决。为了应对这一挑战，本文表明后一种情况可以从量子硬件中显著受益，并提出了第一种多模型拟合 (MMF) 的量子方法。我们将 MMF 表述为一个问题，现代绝热量子计算机可以对其进行有效采样，而无需放宽目标函数。我们还提出了一种迭代和分解版本的方法，该方法支持真实世界大小的问题。实验评估在各种数据集上都显示出有希望的结果。源代码可在以下位置获得：https://github.com/FarinaMatteo/qmmf 。
反馈引导的自主驾驶-CVF Open Access
虽然行为克隆最近已成为自主驾驶的非常成功的范式，但Humans很少学会通过单独的模仿或行为克隆来执行复杂的任务，例如驱动或行为。相比之下，人类的学习通常涉及在整个交互式学习过程中的其他详细指导，即通常通过语言的反馈提供详细的信息，以详细信息，以进行审判的哪一部分进行，不正确或次要地进行。以这种观察的启发，我们引入了一个有效的基于反馈的框架，用于改善基于行为克隆的传感驱动剂培训。我们的关键见解是利用大语模型（LLM）的重新进步，以提供有关驾驶预测失败背后的理由的纠正良好的反馈。更重要的是，我们引入的网络体系结构是有效的，是第一个基于LLM的驾驶模型的第一个感觉运动端到端培训和评估。最终的代理在Nuscenes上的开环评估中实现了最新的性能，在准确性和碰撞率上的表现优于先前的最新时间超过8.1％和57.1％。在卡拉（Carla）中，我们的基于相机的代理在以前的基于激光雷达的AP摄入率上提高了16.6％的驾驶得分。
任何身份的生成学位 - CVF Open Access
在大规模数据集训练的生成模型的最新进展使得可以合成各个领域的高质量样本。此外，强烈反转网络的出现不仅可以重建现实世界图像，还可以通过各种编辑方法对属性进行修改。，在与隐私问题有关的某些领域中，例如Human Faces，先进的生成模型以及强大的反转方法可能会导致潜在的滥用。在此过程中，我们提出了一个必不可少但探索的任务不足的任务，称为生成身份，该任务引导该模型不要生成特定身份的图像。在未经学习的生成身份中，我们针对以下内容：（i）防止具有固有身份的图像的产生，以及（ii）保留生成模型的整体质量。为了满足这些目标，我们提出了一个新颖的框架，对任何IDE NTITY（指南）进行了努力，该框架通过仅使用单个图像来删除发电机来阻止特定身份的重建。指南由两个部分组成：（i）找到一个优化的目标点，该目标点未识别源潜在代码和（ii）促进学习过程的新型损失函数，同时影响较小的学习分布。我们的广泛实验表明，我们提出的方法在通用机器学习任务中实现了最先进的性能。该代码可在https://github.com/khu-agi/guide上找到。
灵巧的抓紧变压器-CVF Open Access
在这项工作中，我们提出了一种新颖的歧视性框架，用于灵巧的掌握生成，称为d外部g rasp tr ansformer（dgtr），能够通过仅使用一个向前的通行方式处理对象点云来预测一组可行的抓握姿势。我们将敏捷的掌握生成作为设定的预测任务，并为其设计一个基于变压器的握把模型。但是，我们确定此设置的预测范式在灵活的掌握领域遇到了几种优化的挑战，并导致限制性能。为了解决这些问题，我们提出了培训和测试阶段的渐进策略。首先，提出了动态静态匹配训练（DSMT）策略，以增强训练阶段的光学稳定性。第二，我们使用一对对抗性损失来实现对抗平衡的测试时间适应（ABTTA），以提高测试阶段的掌握质量。dexgraspnet数据集的实验结果证明了DGTR可以预测具有高质量和多样性的灵活掌握姿势的能力。值得注意的是，在保持质量高的同时，DGTR Sigsigs所预测的Grasp的多样性明显优于先前的多个指标，而没有任何数据预处理。代码可在https://github.com/isee-laboratory/dgtr上找到。
节能自适应3D传感-CVF开放访问
主动深度传感可实现强大的深度估计，但通常受感应范围的限制。天真地增加光学能力可以改善传感范围，但对许多应用（包括自主机器人和增强现实）的视力安全关注。在本文中，我们提出了一个自适应的主动深度传感器，该传感器可以共同介绍范围，功耗和眼部安全。主要观察结果是，我们不需要将光模式投影到整个场景，而只需要在关注的小区域中，在应用程序和被动立体声深度所需的深度失败的情况下。理论上将这种自适应感知方案与其他感应策略（例如全帧投影，线扫描和点扫描）进行了比较。我们表明，为了达到相同的最大感应距离，提出的方法在最短（最佳）眼部安全距离时会消耗最小的功率。我们用两个硬件原型实现了这种自适应感测方案，一个具有仅相位空间光调制器（SLM），另一个带有微电动机械（MEMS）镜像和衍射光学元素（DOE）。实验结果验证了我们方法的优势，并证明了其能力自适应地获得更高质量的几何形状。请参阅我们的项目网站以获取视频结果和代码：
触觉增强的辐射场 - CVF Open Access
我们提出了一个场景表示形式，我们称之为触觉的辐射场（TARF），它将视觉和触摸带入共享的3D空间。此表示形式可用于估计场景中给定3D位置的视觉和触觉信号。我们从一系列照片和稀疏采样触摸探针中捕获了场景的tarf。我们的方法利用了两个见解：（i）基于常见的触摸传感器建立在普通摄像机上，因此可以使用多视图几何形状中的方法对图像进行注册，并且（ii）在视觉和结构上相似的场景区域具有相同的触觉效果。我们使用这些见解将触摸信号注册到捕获的视觉场景中，并训练有条件的扩散模型，该模型带有从神经辐射场呈现的RGB-D图像，生成其相应的触觉信号。为了评估我们的方法，我们收集了一个TARF的数据集。此数据集比预先持有的现实世界数据集包含更多的触摸样本，并且为每个捕获的触摸信号提供了空间对齐的视觉信号。我们揭示了跨模式生成模型的准确性以及在下游任务上捕获的视觉效果数据的实用性。项目页面：https：// dou- yiming.github.io/tarf。
生成量子颜色成像-CVF开放访问
单光摄像机的惊人发展为科学和工业成像创造了前所未有的机会。但是，这些1位传感器通过这些1位传感器进行的高数据吞吐量为低功率应用创造了重要的瓶颈。在本文中，我们探讨了从单光摄像机的单个二进制框架生成颜色图像的可能性。显然，由于暴露程度的差异，我们发现这个问题对于标准色素化方法特别困难。我们论文的核心创新是在神经普通微分方程（神经ode）下构建的暴露合成模型，它使我们能够从单个观察中产生持续的暴露量。这种创新可确保在Col-Orizers进行的二进制图像中保持一致的曝光，从而显着增强了着色。我们演示了该方法在单图像和爆发着色中的应用，并显示出优于基准的生成性能。项目网站可以在https://vishal-s-p.github.io/projects/ 2023/generative_quanta_color.html
单光子激光元的分辨率限制-CVF Open Access
单光子光检测和范围（LIDAR）系统通常配备一系列检测器，以提高空间分辨率和传感速度。但是，考虑到激光跨场横跨场景产生的固定量磁通量，当更多像素在单位空间中堆积时，每像素信号到噪声（SNR）将减小。这在传感器阵列的空间分辨率与每个像素的SNR之间的空间分辨率之间提出了基本的权衡。探索了这种基本限制的理论表征。通过得出光子竞争统计量并引入一系列新的近似技术，得出了时间延迟的最大样品估计器的平均平方误差（MSE）。理论预测与模拟和实际数据良好。
转导零射击和少量剪辑-CVF Open Access
转导的推论已通过几片图像分类进行了广泛研究，但在最近的，快速增长的文献中，有关适应视觉模型（如剪辑）的文献被完全忽略了。本文介绍了转换零射击和少量剪辑的分类，其中在其中共同进行推理，在一批无标记的查询样品中共同执行，而不是独立处理每个实例。我们最初构建了信息性的文本概率特征，从而在单元单元集中导致分类问题。受期望最大化（EM）的启发，我们基于优化的分类目标使用Dirichlet定律对每个类别的数据概率分布进行模型。然后使用一种新颖的块最小化最小化算法来解决最小化问题，该算法同时估计分布参数和类分配。在11个数据集上进行的广泛的Numerical实验强调了我们批处理推理方法的效果和效率。在带有75个样本的测试批次的零摄像任务上，我们的APARCH产量比Clip的零弹性性能提高了20％的ImageNet准确性。此外，我们在几次设置中胜过最先进的方法。代码可在以下网址提供：https：//github.com/ segolenemartin/trandductive-clip。
基于事件流的视觉对象跟踪-CVF打开访问
以生物风格的活动相机跟踪近年来引起了人们的兴趣。现有的作品要么利用对齐的RGB和事件数据进行准确跟踪，要么直接学习基于事件的跟踪器。前者会产生较高的推理成本，而后者可能容易受到嘈杂事件或稀疏空间分辨率的影响。在本文中，我们提出了一个新型的分层知识蒸馏框架，该框架可以在培训期间完全利用多模式 /多视图信息，以促进知识转移，使我们能够仅使用事件信号来实现测试过程中高速和低潜伏期视觉跟踪。特别是，基于教师变压器的多模态跟踪框架首先是通过同时喂食RGB框架和事件流来训练的。然后，我们设计了一种新的分层知识蒸馏策略，其中包括成对相似性，功能表示和基于响应地图的知识蒸馏，以指导学生变形金刚网络的学习。在术语中，由于现有的基于事件的跟踪数据集都是低分辨率（346×260），因此我们提出了名为EventVot的第一个大规模高分辨率（1280×720）数据集。它包含1141个视频，并涵盖了许多类别，例如行人，车辆，无人机，乒乓球等。对低分辨率（Fe240Hz，Vi-Sevent，Coesot）和我们新提出的高分辨率EventVot数据集的进行了实验进行了实验