XiaoMi-AI文件搜索系统
World File Search SystemCVF
灵巧的抓紧变压器-CVF Open Access
在这项工作中，我们提出了一种新颖的歧视性框架，用于灵巧的掌握生成，称为d外部g rasp tr ansformer（dgtr），能够通过仅使用一个向前的通行方式处理对象点云来预测一组可行的抓握姿势。我们将敏捷的掌握生成作为设定的预测任务，并为其设计一个基于变压器的握把模型。但是，我们确定此设置的预测范式在灵活的掌握领域遇到了几种优化的挑战，并导致限制性能。为了解决这些问题，我们提出了培训和测试阶段的渐进策略。首先，提出了动态静态匹配训练（DSMT）策略，以增强训练阶段的光学稳定性。第二，我们使用一对对抗性损失来实现对抗平衡的测试时间适应（ABTTA），以提高测试阶段的掌握质量。dexgraspnet数据集的实验结果证明了DGTR可以预测具有高质量和多样性的灵活掌握姿势的能力。值得注意的是，在保持质量高的同时，DGTR Sigsigs所预测的Grasp的多样性明显优于先前的多个指标，而没有任何数据预处理。代码可在https://github.com/isee-laboratory/dgtr上找到。
基于事件的结构 - 轨道 - CVF Open Access
事件传感器提供高时间分辨率的视觉感应，这使其非常适合感知快速视觉效果，而不会遭受运动模糊的困扰。机器人技术和基于视觉的导航中的某些应用需要3D感知在静态相机前进行圆形或旋转的物体，例如恢复对象的速度和形状。设置等于用轨道摄像头观察静态对象。在本文中，我们提出了基于事件的结构 - 轨道（ESFO），其目的是同时重建从静态事件摄像头观察到的快速旋转对象的3D结构，并恢复相机的等效轨道运动。我们的贡献是三重的：由于最新的事件特征跟踪器无法处理由于旋转运动而导致的定期自我遮挡，因此我们根据时空聚类和数据关联开发了一种新颖的事件特征跟踪器，可以更好地跟踪事件数据中有效特征的螺旋螺旋传播。然后将特征轨道馈送到我们的新颖因素基于图形的结构后端端，该结构从后端进行计算轨道运动插曲（例如自旋速率，相对旋转轴），从而最大程度地减少了重新投影误差。进行评估，我们在旋转运动下生成了一个新事件数据集。比较与地面真理表示ESFO的功效。
SFOD：脉冲融合物体探测器 - CVF 开放存取
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点，为特殊环境中的物体检测提供了独特的功能。尽管有这些优势，事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发，为这些困难提供了潜在的解决方案。然而，在当前的实现中，它们在使用事件相机进行物体检测方面的性能受到限制。在本文中，我们提出了脉冲融合物体检测器 (SFOD)，一种基于 SNN 的简单有效的物体检测方法。具体而言，我们设计了一个脉冲融合模块，首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外，通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验，我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而，我们建立了基于 SNN 的当前最佳分类结果，在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明，SFOD 实现了 32.1% 的当前最佳 mAP，优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力，而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
节能自适应3D传感-CVF开放访问
主动深度传感可实现强大的深度估计，但通常受感应范围的限制。天真地增加光学能力可以改善传感范围，但对许多应用（包括自主机器人和增强现实）的视力安全关注。在本文中，我们提出了一个自适应的主动深度传感器，该传感器可以共同介绍范围，功耗和眼部安全。主要观察结果是，我们不需要将光模式投影到整个场景，而只需要在关注的小区域中，在应用程序和被动立体声深度所需的深度失败的情况下。理论上将这种自适应感知方案与其他感应策略（例如全帧投影，线扫描和点扫描）进行了比较。我们表明，为了达到相同的最大感应距离，提出的方法在最短（最佳）眼部安全距离时会消耗最小的功率。我们用两个硬件原型实现了这种自适应感测方案，一个具有仅相位空间光调制器（SLM），另一个带有微电动机械（MEMS）镜像和衍射光学元素（DOE）。实验结果验证了我们方法的优势，并证明了其能力自适应地获得更高质量的几何形状。请参阅我们的项目网站以获取视频结果和代码：
任何身份的生成学位 - CVF Open Access
在大规模数据集训练的生成模型的最新进展使得可以合成各个领域的高质量样本。此外，强烈反转网络的出现不仅可以重建现实世界图像，还可以通过各种编辑方法对属性进行修改。，在与隐私问题有关的某些领域中，例如Human Faces，先进的生成模型以及强大的反转方法可能会导致潜在的滥用。在此过程中，我们提出了一个必不可少但探索的任务不足的任务，称为生成身份，该任务引导该模型不要生成特定身份的图像。在未经学习的生成身份中，我们针对以下内容：（i）防止具有固有身份的图像的产生，以及（ii）保留生成模型的整体质量。为了满足这些目标，我们提出了一个新颖的框架，对任何IDE NTITY（指南）进行了努力，该框架通过仅使用单个图像来删除发电机来阻止特定身份的重建。指南由两个部分组成：（i）找到一个优化的目标点，该目标点未识别源潜在代码和（ii）促进学习过程的新型损失函数，同时影响较小的学习分布。我们的广泛实验表明，我们提出的方法在通用机器学习任务中实现了最先进的性能。该代码可在https://github.com/khu-agi/guide上找到。
转导零射击和少量剪辑-CVF Open Access
转导的推论已通过几片图像分类进行了广泛研究，但在最近的，快速增长的文献中，有关适应视觉模型（如剪辑）的文献被完全忽略了。本文介绍了转换零射击和少量剪辑的分类，其中在其中共同进行推理，在一批无标记的查询样品中共同执行，而不是独立处理每个实例。我们最初构建了信息性的文本概率特征，从而在单元单元集中导致分类问题。受期望最大化（EM）的启发，我们基于优化的分类目标使用Dirichlet定律对每个类别的数据概率分布进行模型。然后使用一种新颖的块最小化最小化算法来解决最小化问题，该算法同时估计分布参数和类分配。在11个数据集上进行的广泛的Numerical实验强调了我们批处理推理方法的效果和效率。在带有75个样本的测试批次的零摄像任务上，我们的APARCH产量比Clip的零弹性性能提高了20％的ImageNet准确性。此外，我们在几次设置中胜过最先进的方法。代码可在以下网址提供：https：//github.com/ segolenemartin/trandductive-clip。
量子多模型拟合 - CVF 开放获取
几何模型拟合是一个具有挑战性但又十分基础的计算机视觉问题。最近，量子优化已被证明可以增强单模型情况的稳健拟合，同时多模型拟合的问题仍未得到解决。为了应对这一挑战，本文表明后一种情况可以从量子硬件中显著受益，并提出了第一种多模型拟合 (MMF) 的量子方法。我们将 MMF 表述为一个问题，现代绝热量子计算机可以对其进行有效采样，而无需放宽目标函数。我们还提出了一种迭代和分解版本的方法，该方法支持真实世界大小的问题。实验评估在各种数据集上都显示出有希望的结果。源代码可在以下位置获得：https://github.com/FarinaMatteo/qmmf 。
反馈引导的自主驾驶-CVF Open Access
虽然行为克隆最近已成为自主驾驶的非常成功的范式，但Humans很少学会通过单独的模仿或行为克隆来执行复杂的任务，例如驱动或行为。相比之下，人类的学习通常涉及在整个交互式学习过程中的其他详细指导，即通常通过语言的反馈提供详细的信息，以详细信息，以进行审判的哪一部分进行，不正确或次要地进行。以这种观察的启发，我们引入了一个有效的基于反馈的框架，用于改善基于行为克隆的传感驱动剂培训。我们的关键见解是利用大语模型（LLM）的重新进步，以提供有关驾驶预测失败背后的理由的纠正良好的反馈。更重要的是，我们引入的网络体系结构是有效的，是第一个基于LLM的驾驶模型的第一个感觉运动端到端培训和评估。最终的代理在Nuscenes上的开环评估中实现了最新的性能，在准确性和碰撞率上的表现优于先前的最新时间超过8.1％和57.1％。在卡拉（Carla）中，我们的基于相机的代理在以前的基于激光雷达的AP摄入率上提高了16.6％的驾驶得分。
触觉增强的辐射场 - CVF Open Access
我们提出了一个场景表示形式，我们称之为触觉的辐射场（TARF），它将视觉和触摸带入共享的3D空间。此表示形式可用于估计场景中给定3D位置的视觉和触觉信号。我们从一系列照片和稀疏采样触摸探针中捕获了场景的tarf。我们的方法利用了两个见解：（i）基于常见的触摸传感器建立在普通摄像机上，因此可以使用多视图几何形状中的方法对图像进行注册，并且（ii）在视觉和结构上相似的场景区域具有相同的触觉效果。我们使用这些见解将触摸信号注册到捕获的视觉场景中，并训练有条件的扩散模型，该模型带有从神经辐射场呈现的RGB-D图像，生成其相应的触觉信号。为了评估我们的方法，我们收集了一个TARF的数据集。此数据集比预先持有的现实世界数据集包含更多的触摸样本，并且为每个捕获的触摸信号提供了空间对齐的视觉信号。我们揭示了跨模式生成模型的准确性以及在下游任务上捕获的视觉效果数据的实用性。项目页面：https：// dou- yiming.github.io/tarf。
生成量子颜色成像-CVF开放访问
单光摄像机的惊人发展为科学和工业成像创造了前所未有的机会。但是，这些1位传感器通过这些1位传感器进行的高数据吞吐量为低功率应用创造了重要的瓶颈。在本文中，我们探讨了从单光摄像机的单个二进制框架生成颜色图像的可能性。显然，由于暴露程度的差异，我们发现这个问题对于标准色素化方法特别困难。我们论文的核心创新是在神经普通微分方程（神经ode）下构建的暴露合成模型，它使我们能够从单个观察中产生持续的暴露量。这种创新可确保在Col-Orizers进行的二进制图像中保持一致的曝光，从而显着增强了着色。我们演示了该方法在单图像和爆发着色中的应用，并显示出优于基准的生成性能。项目网站可以在https://vishal-s-p.github.io/projects/ 2023/generative_quanta_color.html