XiaoMi-AI文件搜索系统
World File Search System扩散模型
重新思考多重对比 MRI 超级扩散模型...
最近，扩散模型 (DM) 已应用于磁共振成像 (MRI) 超分辨率 (SR) 重建，并表现出令人印象深刻的性能，尤其是在细节重建方面。然而，当前基于 DM 的 SR 重建方法仍然面临以下问题：（1）它们需要大量迭代来重建最终图像，效率低下且消耗大量计算资源。（2）这些方法重建的结果通常与真实的高分辨率图像不一致，导致重建的 MRI 图像出现明显失真。为了解决上述问题，我们提出了一种用于多对比 MRI SR 的有效扩散模型，称为 DiffMSR。具体而言，我们在高度紧凑的低维潜在空间中应用 DM 来生成具有高频细节信息的先验知识。高度紧凑的潜在空间确保 DM 只需要几次简单的迭代即可产生准确的先验知识。此外，我们设计了 Prior-Guide Large Window Transformer (PLWformer) 作为 DM 的解码器，它可以扩展感受野，同时充分利用 DM 产生的先验知识，以确保重建的 MR 图像保持不失真。在公共和临床数据集上进行的大量实验表明，我们的 DiffMSR 1 优于最先进的方法。
带有扩散模型的视频插值-CVF Open Access
我们提出了Vidim，这是一个视频间隔的生成模型，该模型在启动和最终框架下创建了简短的视频。为了实现高保真度并在输入数据中产生了看不见的信息，Vidim使用级联的分化模型首先以低分辨率生成目标视频，然后在低分辨率生成的视频上生成高分辨率视频。我们将视频插补的先前最新方法归纳为先前的最新方法，并在大多数设置中演示了这种作品如何在基础运动是复杂，非线性或模棱两可的情况下失败，而Vidim可以轻松处理此类情况。我们还展示了如何在开始和最终框架上进行无分类器指导，并在原始高分辨率框架上调节超级分辨率模型，而没有其他参数可以解锁高保真性结果。vidim可以从共同降低所有要生成的框架，每个扩散模型都需要少于十亿个pa-rameters来产生引人注目的结果，并且仍然可以在较大的参数计数下享有可扩展性和提高质量。请在vidim- Interpolation.github.io上查看我们的项目页面。
通过扩散模型通过类间图像混合增强图像分类
文本对图像（T2I）生成模型最近成为一种强大的工具，可以创建照片现实的图像并引起多种应用。然而，将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中，我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明，这些方法努力产生既忠实的（就前景对象）而且针对领域概念的多样化（在背景上下文中）。为了应对这一挑战，我们引入了一种创新的类数据增强方法，称为diff-mix 1，该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是，DIFF-MIX在信仰和多样性之间取得了更好的平衡，从而导致各种图像分类场景之间的性能显着提高，包括域名数据集的少量，常规和长尾分类。
提示文本到图像扩散模型的迅速反转
提供给文本对图像差异模型的提示的质量决定了生成的内容对用户意图的忠诚程度，通常需要“及时工程”。要通过及时的工程来利用目标图像的视觉概念，当前方法在很大程度上通过优化然后将它们映射到伪tokens来依赖嵌入反演。然而，使用这种高维矢量表示是具有挑战性的，因为它们缺乏语义和可解释性，并且只允许使用它们时模拟矢量操作。相反，这项工作着重于反转扩散模型，以直接获得可靠的语言提示。这样做的挑战在于，由此产生的优化问题从根本上是离散的，提示的空间呈较大。这使得使用标准优化技术，例如随机梯度下降，困难。为此，我们利用延迟的投影方案来访问代表模型中词汇空间的提示。此外，我们利用了扩散过程的时间段与图像中不同级别的细节相差的发现。后来的，嘈杂的，前传扩散过程的时间段对应于语义信息，因此，此范围内的迅速反转提供了代表图像语义的令牌。我们表明，我们的方法可以确定目标图像的语义可解释和有意义的提示，该提示可用于合成具有相似内容的多样化图像。我们说明了优化提示在进化图像生成和概念删除中的应用。
将扩散模型缩放到现实世界3D激光雷达场景完成
计算机视觉技术在自动驾驶汽车的感知堆栈中起着核心作用。使用此类方法来感知给定数据的车辆周围环境。3D激光雷达传感器通常用于从场景中收集稀疏的3D点云。然而，根据人类的看法，这种系统努力鉴于那些稀疏的点云，因此很难塑造现场的看不见的部分。在此问题中，场景完成任务旨在预测LiDAR测量中的差距，以实现更完整的场景表示。鉴于最近扩散模型作为图像的生成模型的有希望的结果，我们建议将其扩展以实现单个3D LIDAR扫描的场景。以前的作品使用了从LiDAR数据提取的范围图像上使用扩散模型，直接应用了基于图像的扩散方法。差不多，我们建议直接在这些点上操作，并介绍尖锐的和降解的扩散过程，以便它可以在场景规模上有效地工作。与我们的方法一起，我们提出了正规化损失，以稳定在denoising过程中预测的噪声。我们的实验评估表明，我们的方法可以在单个LIDAR扫描中完成场景，作为输入，与最新场景完成方法相比，产生了更多详细信息的场景。我们认为，我们提出的扩散过程公式可以支持应用于场景尺度点云数据的扩散模型中的进一步研究。1
MatFuse：利用扩散模型实现可控材料生成
在计算机图形学中创建高质量的材质是一项具有挑战性且耗时的任务，需要很高的专业知识。为了简化这个过程，我们引入了 MatFuse，这是一种统一的方法，它利用扩散模型的生成能力来创建和编辑 3D 材质。我们的方法整合了多种条件来源，包括调色板、草图、文本和图片，增强了创造可能性并对材质合成进行了细粒度的控制。此外，MatFuse 通过多编码器压缩模型的潜在操作实现了地图级材质编辑功能，该模型可以学习每个地图的解开的潜在表示。我们在多种条件设置下展示了 MatFuse 的有效性，并探索了材质编辑的潜力。最后，我们根据 CLIP-IQA 和 FID 分数定量评估生成材质的质量，并通过开展用户研究定性评估生成材质的质量。用于训练 MatFuse 的源代码和补充材料可在 https://gvecchio.com/matfuse 上公开获取。
具有扩散模型的生成文本视频检索
现有的文本视频检索解决方案本质上是侧重于最大程度地提高条件可能性的模型，即P（候选人|查询）。虽然很简单，但这种事实上的范式却忽略了基本的数据分布p（查询），这使得识别出分布数据的挑战。为了解决这一限制，我们从生成观点创造性地解决了此任务，并将文本和视频之间的相关性建模为其关节概率P（候选人，查询）。这是通过基于扩散的文本视频检索框架（扩散-RET）来完成的，该框架将检索任务建模为从噪声中产生关节分布的过程。在训练过程中，从发电和犯罪的角度优化了Diffusionret，其发电机通过生成损失优化，并且具有对比度损失的训练的特征提取器。以这种方式，diffusionret巧妙地杠杆化了生成和歧视方法的优势。在五个常用的文本检索基准测试中进行了广泛的实验，包括MSRVTT，LSMDC，MSVD，ActivityNet字幕和DIDEMO，并具有出色的性能，证明了我们方法的效果。更加谨慎，没有任何修改，diffusionret甚至在外域检索设置中表现良好。我们认为这项工作带来了对相关领域的基本见解。代码可从https://github.com/jpthu17/diffusionret获得。
布局 - 敏捷场景文本图像综合与扩散模型
虽然扩散模型已显着提高了图像生成的质量，但它们在这些图像中准确且相干渲染文本的能力仍然是一个重大挑战。场景文本生成的常规基于扩散的方法通常受到对中间布局输出的依赖的限制。这种依赖性通常会导致文本样式和字体的多样性限制，这是布局生成阶段的确定性质所引起的固有限制。为了应对这些挑战，本文介绍了SceneTeTgen，这是一种基于新颖的扩散模型，专门设计用于规避预定义布局阶段的需求。这样做，场景 - 文本促进了文本的更自然和多样化的代表。SceneTextGen的新颖性在于其三个关键组成部分的整体：一个字符级编码器，用于捕获详细的印刷属性，并与字符级实例分割模型和Word-
训练扩散模型通过增强学习
扩散模型在图像生成中表现出了前所未有的ca。然而，它们从原始训练集中纳入并扩大了数据偏差（例如性别，年龄），从而限制了产生的IMEG的多样性。在本文中，我们在基于图像集的重新函数的指导下，使用增强学习（RL）提出了一种面向多样性的细调方法（RL）。具体而言，所提出的奖励函数（表示为多样性奖励），利用一组生成的信息来评估当前生成分配W.R.T.的覆盖范围。参考分布，由一组无偏见的图像表示。建立在分布差异估计的概率方法的基础上，差异奖励可以有效地用一小部分图像来测量相对分布差距。我们进一步将扩散过程作为多步决策问题（MDP），并通过最大化多样性奖励来应用策略梯度方法来微调扩散模型。在放样后选择任务上验证了奖励，其中根据多样性奖励值选择了最多样化的图像的子集。我们还展示了我们的RL微调框架的有效性，可以通过不同类型的扩散模型（包括班级条件模型和文本条件模型，例如stablediffusion）增强图像生成的多样性。