XiaoMi-AI文件搜索系统
World File Search SystemDiffusion
使用扩散模型在潜在空间中进行图像修复
使用扩散模型进行图像修复通常使用预条件模型（即针对绘画任务进行微调的图像条件模型）或后条件模型（即在推理时重新用于绘画任务的非条件模型）。预条件模型在推理时很快，但训练成本极高。后条件模型不需要任何训练，但在推理过程中很慢，需要多次前向和后向传递才能收敛到理想的解决方案。在这里，我们推导出一种不需要昂贵训练但推理速度很快的方法。为了解决昂贵的推理计算时间，我们在潜在空间而不是图像空间上执行前向-后向融合步骤。这是通过扩散过程中新提出的传播模块解决的。在多个领域进行的实验表明，我们的方法达到或改善了状态
gpld3d：通过执行几何学和物理先验
扩散概率模型（DDPM）[39，40]，通过开发合适的3D表示，例如，体积网格[50]，点云[3，53]，三角形网格[24，32]，隐式含量[24，32]，隐式代表[12，28，36，36，36，36，56，36，56，36，36，36，56）。但是，这些生成模型的一个共同主题是匹配由训练数据定义的经验分布以及从潜在空间的先前分布中得出的诱导分布。这些方法在3D域中对下游应用程序至关重要的3D域中没有明确模型。考虑使用隐式形状代表的许多状态形状发生器。合成形状通常具有断开的作品，并具有其他物理稳定性和几何可行性的问题。现有技术的一个主要问题是，他们只看到培训实例，这是一组非常稀疏的样本。但是，它们没有对合成实例的几何和物理特性进行建模。这种问题不容易通过开发合适的神经代表来解决。随着人造形状具有多种拓扑结构，在可以对不同拓扑结构建模的代表下执行这些属性，例如隐式表面和点云仍然非常具有挑战性。在本文中，我们介绍了一种名为GPLD3D的新颖方法，该方法极大地增强了合成形状的几何学性和物理稳定性。考虑一个预先训练的生成模型，该模型将潜在空间映射到形状空间。我们将潜在扩散范式[12，34，36，56]证明是一种最先进的形状基因产生模型。与训练一个扩散模型不同，该模型将潜在空间的高斯分布映射到由训练形状的潜在代码定义的经验分布，我们介绍了一个潜在代码的优质检查器，以定义潜在空间的连续正规化分布。此质量检查器集成了一个学到的功能，该功能量化了合成形状的几何可行性评分以及量化其物理稳定性评分的刚度ma-Trix的光谱特性。我们展示了如何扩展最新的扩散框架EDM [20]，以整合数据分布和学习质量的denoising网络的质量检查器。关键贡献是一种原则性的方法，它决定了数据分散的损失条款与不同噪声水平的质量检查器之间的权衡参数。我们已经评估了shapenet-v2上GPLD3D的性能[6]。实验结果表明，在多个指标上，GPLD3D显着优于最先进的形状发生器。我们还提出了一项消融研究，以证明合并质量检查器并优化训练损失的超参数的重要性。
C9orf72 ALS/FTD二肽重复蛋白水平通过抑制PKA或增强蛋白质降解的小分子降低对扩散：全面的多模式对象级图像编辑器
基于扩散的生成模型在合成和操纵图像具有巨大的图像方面表现出了令人鼓舞的结果，其中文本到图像模型及其后续作品在学术界和行业中都具有很大的影响。编辑真实图像时，用户通常希望对不同元素具有直观而精确的控制（即对象）组成图像，并不断地操纵它们。我们可以根据图像中的单个观察的控制级别对现有的图像编辑方法进行分类。一条工作涉及使用文本提示来操纵图像[2，15，24，27]。由于很难与文本同时描述多个对象的形状和外观，因此在对象级别上对细粒度控制的能力有限。同时，迅速的工程使操纵任务乏味且耗时。另一项工作线使用低级调理信号，例如Hu等人。[18]，Patashnik等。[34]，Zeng等。[58]，草图[50]，图像[5，47，54]编辑图像。但是，其中大多数作品要么属于迅速的工程陷阱，要么无法独立操纵多个对象。与以前的作品不同，我们的目标是独立控制组成图像的多个对象的正确条件，即对象级编辑。我们表明，我们可以在对象级编辑框架下制定各种图像编辑任务，从而实现全面的编辑功能。
弥合扩散模型之间的差距和图像压缩的通用量化
通过利用量化误差和加性噪声之间的相似性，可以通过使用扩散模型“ denoise”量化引入的伪影来构建基于扩散的图像压缩编解码器。但是，我们确定了这种方法中的三个差距，从而导致量化的数据排除在扩散模型的分布之外：噪声水平，噪声类型和由离散化引起的差距的差距。为了解决这些问题，我们提出了一个新型的基于量化的正向扩散过程，该过程是理论上建立的，并桥接了上述三个差距。这是通过经过精心量身定制的量化时间表以及对均匀噪声训练的扩散模型来实现的。与以前的工作相比，我们提出的架构也会产生一贯的现实和详细的结果，即使是在极低的比特率下，同时保持对原始图像的忠诚度。
稳定扩散启用水下深度估计
单眼深度估计在近年来，由于深度学习的进步，近年来在陆地图像上取得了重大进展。，但主要是由于数据稀缺性而导致的水下场景不足。鉴于水中的光衰减和背面的固有挑战，获得清晰的水下图像或精确的深度非常困难且昂贵。为了减轻此问题，基于学习的方法通常依赖于综合数据或转向自欺欺人或无监督的举止。尽管如此，它们的性能通常受到域间隙和宽松的约束而阻碍。在本文中，我们提出了一种新的管道，用于使用准确陆地深度生成感性的水下图像。这种方法有助于对水下深度估计的模型进行超级培训，从而有效地降低了限制和水下环境之间的性能差异。与以前的合成数据集相反，这些数据集仅将样式转移应用于没有场景内容的情况下的Terres试验图像，我们的方法通过通过创新的STA-
细浓度：通过扩散模型进行细粒度及时驱动的3D人姿势估计
3D人姿势估计（3D HPE）任务使用2D图像或视频来预测3D空间中的人类关节坐标。尽管最新的基于深度学习的方法取得了进步，但它们主要忽略了可访问的文本和自然可行的人类知识的能力，而错过了有价值的隐性监督，以指导3D HPE任务。此外，以前的努力经常从整个人体的角度研究这项任务，从而忽略了隐藏在不同身体部位的细粒度指导。为此，我们基于3D HPE的扩散模型（名为FinePose）提出了一个新的细粒及时驱动的DeNoiser。它由三个核心块组成，增强了扩散模型的反向过程：（1）通过耦合辅助辅助文本和可学习的提示以模拟隐式指南的耦合知识，并通过耦合的辅助辅助文本和自然可行的零件知识，可以通过耦合的辅助辅助文本和自然可行的零件知识来构建精细的部分零件感知的提示。（2）Fine-
MAS：使用2D扩散
我们使用2D扩散模型引入了多视图祖传采样（MAS），这是一种3D运动生成的方法，这些方法是根据从野外视频中获得的动作进行训练的。因此，MAS为以前探索了3D数据而稀缺且难以收集的机会为令人兴奋和多样化的运动领域打开了机会。MAS通过同时降低多个2D运动序列来起作用，代表了同一3D运动的不同视图。它通过将单个世代组合到统一的3D序列中，并将其投影回原始视图，从而确保每个扩散步骤中所有视图的共识。我们在2D姿势数据上展示了MAS，从描述了演习篮球运动的视频中获取的数据，节奏的体操在带有球设备的节奏和赛马。在这些域中的每个域中，3D运动捕获都很艰难，但是，MAS生成了多样化和现实的3D序列。不喜欢分数蒸馏方法，该方法通过反复应用小固定来优化每个样品，我们的方法使用了为扩散框架构建的采样过程。正如我们所证明的那样，MAS避免了常见的措施，例如室外采样和模式折叠。https://guytevet.github.io/mas-page/
雷达相机3D对象检测的强大扩散建模框架
雷达相机3D对象检测旨在与雷达信号与摄像机图像进行交互，以识别感兴趣的对象并定位其相应的3D绑定框。为了克服雷达信号的严重稀疏性和歧义性，我们提出了一个基于概率deno的扩散建模的稳健框架。我们设计了框架，可以在不同的多视图3D检测器上易于实现，而无需在训练或推理过程中使用LiDar Point Clouds。在特定的情况下，我们首先通过开发带有语义嵌入的轻质DENOIS扩散模型来设计框架编码器。其次，我们通过在变压器检测解码器的深度测量处引入重建训练，将查询降解训练开发为3D空间。我们的框架在Nuscenes 3D检测基准上实现了新的最新性能，但与基线检测器相比，计算成本的增加很少。
MatFuse：利用扩散模型实现可控材料生成
在计算机图形学中创建高质量的材质是一项具有挑战性且耗时的任务，需要很高的专业知识。为了简化这个过程，我们引入了 MatFuse，这是一种统一的方法，它利用扩散模型的生成能力来创建和编辑 3D 材质。我们的方法整合了多种条件来源，包括调色板、草图、文本和图片，增强了创造可能性并对材质合成进行了细粒度的控制。此外，MatFuse 通过多编码器压缩模型的潜在操作实现了地图级材质编辑功能，该模型可以学习每个地图的解开的潜在表示。我们在多种条件设置下展示了 MatFuse 的有效性，并探索了材质编辑的潜力。最后，我们根据 CLIP-IQA 和 FID 分数定量评估生成材质的质量，并通过开展用户研究定性评估生成材质的质量。用于训练 MatFuse 的源代码和补充材料可在 https://gvecchio.com/matfuse 上公开获取。
在扩散模型中使用令牌优化的开放式摄取注意图
扩散模型代表文本到图像生成中的新范式。除了从文本提示中生成高质量的图像之外，诸如稳定扩散之类的模型已成功扩展到了共同生成的分段伪遮罩。但是，当前的敏感主要依赖于提取与用于图像合成的及时单词相关的关注。这种方法限制了从文本提示中未包含的单词代币中得出的分割掩码的产生。在这项工作中，我们介绍了开放式摄影注意力图（OVAM） - 用于文本到图像扩散模型的无训练方法，可为任何单词生成注意力图。此外，我们提出了一个基于OVAM的轻巧优化过程，用于查找具有单个注释的对象类的准确注意图。