XiaoMi-AI文件搜索系统
World File Search SystemDiffusion
MatFuse：利用扩散模型实现可控材料生成
在计算机图形学中创建高质量的材质是一项具有挑战性且耗时的任务，需要很高的专业知识。为了简化这个过程，我们引入了 MatFuse，这是一种统一的方法，它利用扩散模型的生成能力来创建和编辑 3D 材质。我们的方法整合了多种条件来源，包括调色板、草图、文本和图片，增强了创造可能性并对材质合成进行了细粒度的控制。此外，MatFuse 通过多编码器压缩模型的潜在操作实现了地图级材质编辑功能，该模型可以学习每个地图的解开的潜在表示。我们在多种条件设置下展示了 MatFuse 的有效性，并探索了材质编辑的潜力。最后，我们根据 CLIP-IQA 和 FID 分数定量评估生成材质的质量，并通过开展用户研究定性评估生成材质的质量。用于训练 MatFuse 的源代码和补充材料可在 https://gvecchio.com/matfuse 上公开获取。
通过扩散模型通过类间图像混合增强图像分类
文本对图像（T2I）生成模型最近成为一种强大的工具，可以创建照片现实的图像并引起多种应用。然而，将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中，我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明，这些方法努力产生既忠实的（就前景对象）而且针对领域概念的多样化（在背景上下文中）。为了应对这一挑战，我们引入了一种创新的类数据增强方法，称为diff-mix 1，该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是，DIFF-MIX在信仰和多样性之间取得了更好的平衡，从而导致各种图像分类场景之间的性能显着提高，包括域名数据集的少量，常规和长尾分类。
通过跳跃扩散驱动的神经SDE的多变量时间序列建模
在数据科学和机器学习的不断发展的景观中，时间序列建模的领域已成为一个重要且挑战性的研究领域。时间序列数据及其独特的时间依赖性和顺序模式，在金融，医疗保健和气候科学等各个领域中找到了应用[1,2,3]。时间序列的准确建模对于创建强大的模型和理解复杂系统至关重要。建模时间序列的一种方法是通过生成模型[4]，该模型在异常检测[5]和数据增强[6]中具有实际应用。在本文中，我们提出了一种基于时间序列生成和建模的神经SDE的新颖方法。尤其是，我们旨在创建一个可以利用默顿模型[3]作为跳跃框架的模型，该模型可以考虑实际市场的跳跃。归一化流是具有易生化密度估计的生成模型家族。主要思想是通过组成几个函数f i将初始复杂的数据分散分散转换为一个简单的想法。有一些
布局 - 敏捷场景文本图像综合与扩散模型
虽然扩散模型已显着提高了图像生成的质量，但它们在这些图像中准确且相干渲染文本的能力仍然是一个重大挑战。场景文本生成的常规基于扩散的方法通常受到对中间布局输出的依赖的限制。这种依赖性通常会导致文本样式和字体的多样性限制，这是布局生成阶段的确定性质所引起的固有限制。为了应对这些挑战，本文介绍了SceneTeTgen，这是一种基于新颖的扩散模型，专门设计用于规避预定义布局阶段的需求。这样做，场景 - 文本促进了文本的更自然和多样化的代表。SceneTextGen的新颖性在于其三个关键组成部分的整体：一个字符级编码器，用于捕获详细的印刷属性，并与字符级实例分割模型和Word-
Zigma：DIT风格的曲折Mamba扩散模型
摘要该扩散模型长期以来一直受到可扩展性和二次复杂性问题的困扰，尤其是在基于变压器的结构中。在这项研究中，我们旨在利用称为Mamba的状态空间模型的长序列建模可容纳，以扩展其对视觉数据生成的适用性。首先，我们确定了大多数基于MAMBA的视力方法的关键监督，即缺乏对Mamba扫描方案中空间连续性的考虑。Secondly, build- ing upon this insight, we introduce Zigzag Mamba, a simple, plug-and- play, minimal-parameter burden, DiT style solution, which outperforms Mamba-based baselines and demonstrates improved speed and memory utilization compared to transformer-based baselines, also this heteroge- neous layerwise scan enables zero memory and speed burden when we consider more scan paths.最后，我们将Zigzag Mamba与随机插值框架整合在一起，以研究大分辨率视觉数据集上该模型的可扩展性，例如FaceShQ 1024×1024和UCF101，Multimopal-Celeba-HQ，以及MS Coco 256×256。
sgd：街道视图综合与高斯裂纹和扩散先验
为了自主驾驶模拟，早期尝试[8，32，35]部署游戏引擎来渲染图像。它不仅需要耗时的过程来重建虚拟场景，而且还需要以低现实主义的形式产生结果。，用于新型视图Synthesis（NVS）的神经渲染技术，例如神经辐射场（NERF）[21]和3D高斯分裂（3DGS）[14]，用于同步，以使照片现实主义的街道视图进行同步。当前的研究[4、10、20、23、28、39、43、47、48、51、59]主要是街道视图合成中面临的两个挑战：无界场景的重建和染色体对象的建模。尽管已经取得了令人兴奋的进度，但在现有作品中尚未很好地探索评估重建质量的关键问题。众所周知，理想的场景仿真系统应具有高质量的自由视线渲染的能力。目前的作品通常采用从vehicle捕获而在训练阶段却看不见的观点（例如图。1），同时忽略了偏离训练观点的小说观点（例如图。1）。处理这些新颖的观点时，呈现质量的降低明显降低，对现有作品的模糊和伪像，如图1。此问题归因于车辆收集的图像的固有约束视图。训练图像通常沿着车辆的行驶方向捕获，并以车辆的车道为中心。由于车辆的快速行驶速度，框架之间的超偏度有限，因此不允许对现场中的物体进行全面的多视觉观察。因此，可以从稀疏视图中将自动驾驶的街道视图综合任务理解为重建问题。
MAS：使用2D扩散
我们使用2D扩散模型引入了多视图祖传采样（MAS），这是一种3D运动生成的方法，这些方法是根据从野外视频中获得的动作进行训练的。因此，MAS为以前探索了3D数据而稀缺且难以收集的机会为令人兴奋和多样化的运动领域打开了机会。MAS通过同时降低多个2D运动序列来起作用，代表了同一3D运动的不同视图。它通过将单个世代组合到统一的3D序列中，并将其投影回原始视图，从而确保每个扩散步骤中所有视图的共识。我们在2D姿势数据上展示了MAS，从描述了演习篮球运动的视频中获取的数据，节奏的体操在带有球设备的节奏和赛马。在这些域中的每个域中，3D运动捕获都很艰难，但是，MAS生成了多样化和现实的3D序列。不喜欢分数蒸馏方法，该方法通过反复应用小固定来优化每个样品，我们的方法使用了为扩散框架构建的采样过程。正如我们所证明的那样，MAS避免了常见的措施，例如室外采样和模式折叠。https://guytevet.github.io/mas-page/
重新思考多重对比 MRI 超级扩散模型...
最近，扩散模型 (DM) 已应用于磁共振成像 (MRI) 超分辨率 (SR) 重建，并表现出令人印象深刻的性能，尤其是在细节重建方面。然而，当前基于 DM 的 SR 重建方法仍然面临以下问题：（1）它们需要大量迭代来重建最终图像，效率低下且消耗大量计算资源。（2）这些方法重建的结果通常与真实的高分辨率图像不一致，导致重建的 MRI 图像出现明显失真。为了解决上述问题，我们提出了一种用于多对比 MRI SR 的有效扩散模型，称为 DiffMSR。具体而言，我们在高度紧凑的低维潜在空间中应用 DM 来生成具有高频细节信息的先验知识。高度紧凑的潜在空间确保 DM 只需要几次简单的迭代即可产生准确的先验知识。此外，我们设计了 Prior-Guide Large Window Transformer (PLWformer) 作为 DM 的解码器，它可以扩展感受野，同时充分利用 DM 产生的先验知识，以确保重建的 MR 图像保持不失真。在公共和临床数据集上进行的大量实验表明，我们的 DiffMSR 1 优于最先进的方法。
使用扩散模型在潜在空间中进行图像修复
使用扩散模型进行图像修复通常使用预条件模型（即针对绘画任务进行微调的图像条件模型）或后条件模型（即在推理时重新用于绘画任务的非条件模型）。预条件模型在推理时很快，但训练成本极高。后条件模型不需要任何训练，但在推理过程中很慢，需要多次前向和后向传递才能收敛到理想的解决方案。在这里，我们推导出一种不需要昂贵训练但推理速度很快的方法。为了解决昂贵的推理计算时间，我们在潜在空间而不是图像空间上执行前向-后向融合步骤。这是通过扩散过程中新提出的传播模块解决的。在多个领域进行的实验表明，我们的方法达到或改善了状态