XiaoMi-AI文件搜索系统
World File Search SystemImage
任何时间图像生成的嵌套扩散过程
扩散模型是生成时期的当前最新模型，它通过将生成过程分解为许多细粒度的排除步骤，从而综合了高质量的图像。尽管其性能良好，但扩散模型在计算上还是需要许多Neu-ral功能评估（NFES）。在这项工作中，我们提出了一种基于扩散的方法，该方法在完成前在任意时间停止时可以生成可行的图像。使用现有的预处理扩散模型，我们表明可以将生成方案重新组成为两个嵌套扩散过程，从而可以快速迭代的迭代细化。在实验和基于稳定的基于扩散的文本对图像生成的实验中，我们在定性和定量上都表明，我们的方法的相互作用质量大大超过了原始扩散模型的质量，而最后一代结果仍然可比。我们说明了嵌套扩散在多种设置中的适用性，包括用于求解逆概率，以及在整个采样过程中允许用户干预，用于快速基于文本的内容创建。1
反事实说明的文本到图像模型
本文解决了生成法定说明（CES）的挑战，涉及识别和修改最少的必要特征，以使分类器对给定图像的预测进行预测。我们提出的方法是反事实e xplanations（Time）的tept to-i mage m odels，是一种基于蒸馏的黑盒反事实技术。与以前的方法不同，此方法仅需要图像及其预测，从而忽略了分类器的结构，参数或梯度的需求。在生成反事实之前，时间将两个不同的偏见引入了文本嵌入的形式稳定扩散：与图像的结构相关联的上下文偏差和类别偏见，与目标分类器学到的类特异性特征相关。学习了这些偏见后，我们发现了使用类预测的类令牌的最佳潜在代码，并使用目标嵌入作为条件，从而产生了符合性的解释。广泛的经验研究证明，即使在黑色盒子设置中运行时，时间也可以产生可比性的解释。
多元化和个性化的多评价医学图像细分
注释歧义由于固有的数据不确定性，例如医学扫描中的界限模糊以及不同的观察者专业知识和偏好已成为训练基于深度学习的医学图像模型的主要观点。为了解决这个问题，普遍的做法是从不同专家那里收集多个注释，导致多评价医学图像分割的设置。现有的作品旨在将不同的注释合并到“地面真实”中，而在众多医疗环境中通常无法实现，或者产生不同的结果，或产生与个人专家评估者相对应的个性化结果。在这里，我们提出了一个更雄心勃勃的多评价医学图像细分的目标，即遵守多元化和个性化结果。指定，我们提出了一个名为d-persona的两个阶段框架（第一个d iversification，然后是角色lization）。在第I阶段，我们利用多个给定注释来训练一个可能性的U-NET模型，并具有约束损失，以证明预测多样性。以这种方式，在第I阶段建造了一个共同的空间，其中不同的潜在代码表示多样化的专家意见。然后，在第二阶段，我们设计了多个基于注意力的投影头，以适应来自共享潜在空间的相应专家提示，然后执行个性化的医疗图像细分。我们评估了内部鼻咽癌数据集和公共肺结核数据集（即LIDC-IDRI）的拟议模型。我们的代码将在https：//github.com/ycwu1997/d-persona上发布。的实验实验表明，我们的D-Persona可以同时获得多元化和个性化的结果，从而实现了多评位者医疗图像细分的新SOTA性能。
ODM：文本图像进一步的对齐预训练方法，用于场景文本检测和发现
近年来，文本图像联合预训练技术在各种任务中显示出令人鼓舞的结果。然而，在光学特征识别（OCR）任务中，将文本实例与图像中的相应文本区域对齐是一个挑战，因为它需要在文本和OCR文本之间有效地对齐（将图像中的文本称为ocr-文本以与自然语言中的文本区分开来），而不是对整体图像内容的全面理解。在本文中，我们提出了一种新的预训练方法，称为o cr-text d估计化m odeling（ODM），该方法根据文本提示将图像中的文本样式传输到统一样式中。使用ODM，我们在文本和OCR文本之间实现了更好的对齐方式，并启用预训练的模型以适应场景文本的复杂和多样化的样式。此外，我们为ODM设计了一种新的标签生成方法，并将其与我们提出的文本控制器模块相结合，以应对OCR任务中注释成本的挑战，并以大量未标记的数据参与预培训。在多个Pub-LIC数据集上进行的广泛实验表明，我们的方法显着地证明了性能，并且在场景文本检测和发现任务中的当前预训练方法优于当前的预训练方法。代码在ODM上可用。
ZK证明图像转换瓷砖在您的笔记本电脑上
[nt s＆p2016] A. Naveh和E. Tromer，“ Photoproof：任何一组允许转换的加密图像身份验证” - S＆P- 2016
图像denoising和光子的生成积累
我们对射击噪声损坏的图像和删除噪声的镜头提出了新的视角。通过将图像形成视为光子在检测器网格上的顺序积累，我们表明，经过训练的网络可以预测下一个光子可能到达的位置，实际上可以解决最小均方形误差（MMSE）denoising任务。这种新观点使我们能够做出三个贡献：i。我们提出了一种新的策略，用于自我监督的denoisis，ii。我们提出了一种通过迭代采样并将少量光子添加到图像中的溶液后部采样的新方法。iii。我们通过从空画布启动此过程来得出一个完整的生成模型。我们称这种方法的生成积累（GAP）。我们在4个新的荧光显微镜数据集上进行定量和定性评估我们的方法，该数据将可供社区提供。我们发现它的表现优于其基准或在PAR上执行。
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。
布局 - 敏捷场景文本图像综合与扩散模型
虽然扩散模型已显着提高了图像生成的质量，但它们在这些图像中准确且相干渲染文本的能力仍然是一个重大挑战。场景文本生成的常规基于扩散的方法通常受到对中间布局输出的依赖的限制。这种依赖性通常会导致文本样式和字体的多样性限制，这是布局生成阶段的确定性质所引起的固有限制。为了应对这些挑战，本文介绍了SceneTeTgen，这是一种基于新颖的扩散模型，专门设计用于规避预定义布局阶段的需求。这样做，场景 - 文本促进了文本的更自然和多样化的代表。SceneTextGen的新颖性在于其三个关键组成部分的整体：一个字符级编码器，用于捕获详细的印刷属性，并与字符级实例分割模型和Word-
通过扩散模型通过类间图像混合增强图像分类
文本对图像（T2I）生成模型最近成为一种强大的工具，可以创建照片现实的图像并引起多种应用。然而，将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中，我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明，这些方法努力产生既忠实的（就前景对象）而且针对领域概念的多样化（在背景上下文中）。为了应对这一挑战，我们引入了一种创新的类数据增强方法，称为diff-mix 1，该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是，DIFF-MIX在信仰和多样性之间取得了更好的平衡，从而导致各种图像分类场景之间的性能显着提高，包括域名数据集的少量，常规和长尾分类。
3D感知图像合成上自定义属性的定量操纵
尽管基于3D的GAN技术已成功地应用于具有各种属性的照片真实的3D图像，同时保持视图一致性，但很少有关于如何罚款3D impersimens的研究，而不会限制其属性特定对象的特定对象类别。为了填补此类研究空白，我们提出了一个基于3D的GAN代表的新型图像操纵模型，以对特定的自定义贡献进行细粒度控制。通过扩展最新的基于3D的GAN模型（例如，EG3D），我们的用户友好定量操作模型可以实现对3D操作多属性数量的精细而归一化的控制，同时实现了视图一致性。我们通过各种实验验证了我们提出的技术的有效性。