XiaoMi-AI文件搜索系统
World File Search SystemDiffusion
detdiffusion：增强数据生成和感知的生成和感知模型
当前的感知模型在很大程度上取决于资源密集型数据集，从而促使需要创新。通过从各种注释中构造图像输入来利用综合数据的最新进展，证明对下游任务有益。虽然先前的方法已单独解决了生成和感知模型，但首次降低了两者的谐调，从而解决了为感知模型生成有效数据的挑战。通过感知模型增强图像发生，我们引入了感知感知损失（P.A.损失）通过细分，提高质量和可控性。为了提高特定感知模型的性能，我们的方法通过提取和利用感知意识来定制数据（P.A.attr）在一代中。对象检测任务的实验结果突出显示了detDiffusion的统治性能，建立了布局引导的新最新作品。此外，降低的图像合成可以有效地增强训练数据，从而显着增强下游检测性能。
重新考虑无分类器扩散指导中的空间不一致
无分类器指导（CFG）已广泛用于文本到图像扩散模型中，其中引入了CFG量表以控制整个图像空间的文本指导强度。但是，我们认为全球CFG量表会导致空间不一致，这是不同的脱节优势和次优的图像质量。为了解决这个问题，我们提出了一种新颖的方法，即语义意识的无分类器指导（S-CFG），以自定义文本到图像扩散模型中不同语义单元的指导学位。具体来说，我们首先设计了一种训练 - 免费的语义分割方法，将潜在图像分配到每个Denoising步骤中相对独立的语义区域。尤其是，将U-NET主链中的跨意义图被重新归一化，以将每个贴片分配给相应的令牌，而自我注意力图则用于完成语义区域。然后，为了平衡各种语义单元的扩增，我们会自适应地调整各个不同区域的CFG尺度，以将文本指导学度重新确定为统一水平。最后，广泛的实验证明了S-CFG优于原始CFG策略在各种文本到图像扩散模型上的优越性，而无需任何额外的培训成本。我们的代码可在https://github.com/smilesdzgk/s-cfg上找到。
Zigma：DIT风格的曲折Mamba扩散模型
摘要该扩散模型长期以来一直受到可扩展性和二次复杂性问题的困扰，尤其是在基于变压器的结构中。在这项研究中，我们旨在利用称为Mamba的状态空间模型的长序列建模可容纳，以扩展其对视觉数据生成的适用性。首先，我们确定了大多数基于MAMBA的视力方法的关键监督，即缺乏对Mamba扫描方案中空间连续性的考虑。Secondly, build- ing upon this insight, we introduce Zigzag Mamba, a simple, plug-and- play, minimal-parameter burden, DiT style solution, which outperforms Mamba-based baselines and demonstrates improved speed and memory utilization compared to transformer-based baselines, also this heteroge- neous layerwise scan enables zero memory and speed burden when we consider more scan paths.最后，我们将Zigzag Mamba与随机插值框架整合在一起，以研究大分辨率视觉数据集上该模型的可扩展性，例如FaceShQ 1024×1024和UCF101，Multimopal-Celeba-HQ，以及MS Coco 256×256。
通过扩散模型通过类间图像混合增强图像分类
文本对图像（T2I）生成模型最近成为一种强大的工具，可以创建照片现实的图像并引起多种应用。然而，将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中，我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明，这些方法努力产生既忠实的（就前景对象）而且针对领域概念的多样化（在背景上下文中）。为了应对这一挑战，我们引入了一种创新的类数据增强方法，称为diff-mix 1，该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是，DIFF-MIX在信仰和多样性之间取得了更好的平衡，从而导致各种图像分类场景之间的性能显着提高，包括域名数据集的少量，常规和长尾分类。
真实srgd：使用无分类器引导扩散
摘要。现实世界图像超分辨率（RISR）旨在从退化的低分辨率（LR）输入中重新结构高分辨率（HR）图像，以应对诸如模糊，噪声和压缩工件之类的挑战。与传统的超分辨率（SR）不同，该方法通过合成的下采样来典型地生成LR图像，而RISR则是现实世界中降级的复杂性。为了有效地应对RISR的复杂挑战，我们适应了无分类器指导（CFG），这是一种最初用于多级图像生成的技术。我们提出的方法，真实的SRGD（带有无分类器引导扩散的现实世界图像超分辨率），将RISR挑战分解为三个不同的子任务：盲图恢复（BIR），常规SR和RISR本身。然后，我们训练针对这些子任务量身定制的类别条件SR扩散模型，并使用CFG来增强现实世界中的超分辨率效果。我们的经验结果表明，实际SRGD超过了定量指标和定性评估中的现有最新方法，如用户研究所证明的那样。此外，我们的方法在
使用预先训练的垂直二维扩散模型改善三维成像
扩散模型由于其众多优点已成为一种流行的图像生成和重建方法。然而，大多数基于扩散的逆问题解决方法仅处理二维图像，即使是最近发表的三维方法也没有充分利用三维分布先验。为了解决这个问题，我们提出了一种新方法，使用两个垂直的预训练二维扩散模型来解决三维逆问题。通过将三维数据分布建模为不同方向切片的二维分布的乘积，我们的方法有效地解决了维数灾难。我们的实验结果表明，我们的方法对于三维医学图像重建任务非常有效，包括 MRI Z 轴超分辨率、压缩感知 MRI 和稀疏视图 CT。我们的方法可以生成适合医疗应用的高质量体素体积。代码可在 https://github.com/hyn2028/tpdm 获得
C9orf72 ALS/FTD二肽重复蛋白水平通过抑制PKA或增强蛋白质降解的小分子降低对扩散：全面的多模式对象级图像编辑器
基于扩散的生成模型在合成和操纵图像具有巨大的图像方面表现出了令人鼓舞的结果，其中文本到图像模型及其后续作品在学术界和行业中都具有很大的影响。编辑真实图像时，用户通常希望对不同元素具有直观而精确的控制（即对象）组成图像，并不断地操纵它们。我们可以根据图像中的单个观察的控制级别对现有的图像编辑方法进行分类。一条工作涉及使用文本提示来操纵图像[2，15，24，27]。由于很难与文本同时描述多个对象的形状和外观，因此在对象级别上对细粒度控制的能力有限。同时，迅速的工程使操纵任务乏味且耗时。另一项工作线使用低级调理信号，例如Hu等人。[18]，Patashnik等。[34]，Zeng等。[58]，草图[50]，图像[5，47，54]编辑图像。但是，其中大多数作品要么属于迅速的工程陷阱，要么无法独立操纵多个对象。与以前的作品不同，我们的目标是独立控制组成图像的多个对象的正确条件，即对象级编辑。我们表明，我们可以在对象级编辑框架下制定各种图像编辑任务，从而实现全面的编辑功能。
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。
使用扩散模型在潜在空间中进行图像修复
使用扩散模型进行图像修复通常使用预条件模型（即针对绘画任务进行微调的图像条件模型）或后条件模型（即在推理时重新用于绘画任务的非条件模型）。预条件模型在推理时很快，但训练成本极高。后条件模型不需要任何训练，但在推理过程中很慢，需要多次前向和后向传递才能收敛到理想的解决方案。在这里，我们推导出一种不需要昂贵训练但推理速度很快的方法。为了解决昂贵的推理计算时间，我们在潜在空间而不是图像空间上执行前向-后向融合步骤。这是通过扩散过程中新提出的传播模块解决的。在多个领域进行的实验表明，我们的方法达到或改善了状态
