XiaoMi-AI文件搜索系统
World File Search System图像生成
用子路线线性近似模型加速图像生成
摘要。扩散模型已在图像，音频和视频生成任务中显着提高了最新技术的状态。但是，它们在实际情况下的应用是由于推理速度缓慢而阻碍。从一致性模型中汲取灵感，我们提出了pproximation m odel（Splam）的s ub-p ath linear，它可以加速扩散模型，同时保持高质量的图像产生。SPLAM将PF-ode轨迹视为一系列的PF-ode子路径除以采样点，并利用子路线线性（SL）ODES沿每个单独的PF-ode子path形成一个预处理且连续的误差估计。此类SL-dodes上的优化允许Splam与累积近似误差较小的构图构图。还开发了一种有效的蒸馏方法，以促进预训练的扩散模型（例如潜在扩散模型）的局限。广泛的实验结果表明，SPLAM达到了显着的训练效率，只需要6个A100 GPU天才能制造出2到4步生成的高质量生成模型。对Laion，MS Coco 2014和MS Coco 2017数据集进行了全面评估，还表明，Splam超过了几步生成任务中现有的加速方法，在FID和生成图像的质量上都实现了最先进的性能。
增强手术可视化：对基于GAN的图像生成的可行性研究
摘要：唇裂/pa/p/p）是一种普遍的上颌面先天性异常，是由于额骨和上颌过程中的融合失败而引起的。目前，尚无国际商定的唇唇修复的黄金标准程序，并且经常根据外科医生的过去经验和个别患者病例的具体特征选择手术方法。Asher-McDade得分是一种评估单侧裂口手术的广泛使用的工具，依赖于与上颌面区域的美学和对称性有关的标准。但是，尚未开发客观的指标来评估手术成功。本研究旨在结合深度学习和生成对抗网络（GAN）方法，以构建图像生成框架，以产生术后唇部图像，该图像可以用作评估手术成功的标准化参考。我们根据图像嵌入式介绍了图像相似性分数，我们用来验证生成的图像。我们的方法为一组合成面的技术铺平了道路，这些技术可以指导外科医生评估CL/P手术的结果。
动态产品图像生成和推荐的个性化电子商务
用户与推荐产品的参与受到其演示文稿的极大影响[3]，这仅次于其相关性。在在线广告中尤其如此，因为用户的主要重点不是建议。广告活动的创意通常是非常谨慎的，但是这种方法并不能扩展产品级广告活动（例如重新定位，Dy-Namic产品ADS（DPA）），其中对产品目录的每个项目都应在具有不同纵横比的任何AD位置上进行。常见的方法是显示原始产品图像，并带有其他设计元素。我们通过使用图像生成方法来证明这一点，并将产品放置在适当的环境中。这些更引人注目的创意者增加了用户参与度。此解决方案也可用于增强用户生成的产品照片（例如在市场上可能是在吸引力较小的环境中采取的。
条件感知的神经网络，用于受控图像生成
我们介绍C ONTITION- WARE神经N ETWORK（CAN），这是一种将控制添加到图像生成模式中的新方法。与先前的条件控制方法并行，可以通过动态降低神经网络的重量来控制图像生成过程。这是通过引入条件感知的重量产生模式来实现的，该模块会根据输入条件为卷积/线性层生成条件重量。我们测试可以在Coco上的ImageNet和文本对图像生成上生成类别图像的生成。可以始终如一地为包括DIT和UVIT在内的扩散变压器模型提供显着改进。特别是，Ca n与有效的T（CAT）结合在Imagenet 512×512上达到2.78 FID，超过DIT-XL/2，同时每个采样步骤需要少52×MAC。
用于评估文本到图像生成中对齐的度量
合成图像产生的进展使评估其质量至关重要。虽然已经提出了几种大会来评估图像的渲染，但对于基于提示的文本形象（T2I）模型至关重要，这些模型基于提示，以考虑其他范围，例如生成的图像与提示的重要内容相匹配。此外，尽管生成的图像通常是由随机起点引起的，但通常不考虑该图像的影响。在本文中，我们提出了一个基于提示模板的新指标，以研究提示中规定的内容与相应生成的图像之间的对齐。它使我们能够更好地以指定对象的类型，它们的数字和颜色来表征对齐方式。我们对最近的几个T2I模型进行了一项研究。我们通过方法获得的另一个有趣的结果是，图像质量可能会大大变化，这取决于用作图像种子的噪声。我们还量化了提示中概念数量的影响，它们的顺序以及其（颜色）属性的影响。最后，我们的方法使我们能够识别出比其他种子比其他种子更好的种子，从而开辟了有关该研究不足的主题的新研究方向。
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。
防止未经授权学习图像生成AI的技术
资料来源：Chloe Veltman，“新工具通过直接破坏系统帮助艺术家对抗人工智能”，NPR，2023.11.3.，https://www.npr.org/2023/11/03/1210208164/new-tools -help-artists-fight-ai-by-directly-disrupting-the-systems 图片来源：Cara @ Jingna Zhang， 2023年12月2日，https://cara.app/zemotion； kudurru主页，访问日期2023年12月5日，https://kudurru.ai/
文本到图像生成模型中的开放式偏差检测
文本到图像生成模型正变得越来越流行，公众可以访问。由于这些模型看到大规模的部署，因此有必要深入研究其安全性和公平性，以免消散和永久存在任何形式的偏见。然而，存在的工作重点是检测封闭的偏见集，定义了先验的偏见，将研究限制为众所周知的概念。在本文中，我们解决了出现OpenBias的文本到图像生成模型中开放式偏见检测的挑战，该模型是一条新管道，该管道可识别和量化双质量的严重性，而无需访问任何预编译的集合。OpenBias有三个阶段。在第一阶段，我们利用大型语言模型（LLM）提出偏见，给定一组字幕。其次，目标生成模型使用相同的字幕绘制图像。最后，一个视觉问题回答模型认识到了先前提出的偏见的存在和范围。我们研究了稳定扩散1.5、2和XL强调新偏见的稳定扩散，从未研究过。通过定量实验，我们证明了OpenBias与当前的封闭式偏见检测方法和人类判断一致。
此微管不存在：扩散模型的超分辨率显微镜图像生成
生成模型（例如扩散模型）在近年来已取得了重大进步，从而使能够在各个领域综合高质量的现实数据。在这里，我们探讨了从公开可用数据库的超分辨率显微镜图像的扩散模型的适应和培训。我们表明，生成的图像类似于实验图像，并且生成过程不会记住训练集中的现有图像。此外，我们比较了使用我们生成的高分辨率数据与使用样本数学建模获得的高分辨率数据训练的基于深度学习的反卷积方法的性能。使用一个小的实际训练数据集，我们可以根据空间分辨率获得出色的重建质量，从而表明了准确的虚拟图像生成的潜力，以克服收集和注释图像数据的局限性进行培训。最后，我们使我们的管道公开可用，可在线运行和用户友好，以使研究人员能够生成自己的合成显微镜数据。这项工作证明了生成扩散模型对显微镜任务的潜在贡献，并为其在该领域的未来应用铺平了道路。
此微管不存在：扩散模型的超分辨率显微镜图像生成
生成模型（例如Di usion模型）在近年来已取得了显着的进步，从而使能够综合各个领域的高质量现实数据。在这里，探索了在超分辨率显微镜图像上的分解模型的适应和训练。表明，生成的图像类似于实验图像，并且生成过程不会从训练集中的现有图像中显示出很大程度的记忆。为了证明生成模型在数据增强中的有用性，将基于基于学习的高分辨率数据训练的基于深度学习的单位图（SISR）方法的性能与单独使用实验图像或数学建模产生的图像进行了比较。使用一些实验图像，改进了重建图像的重建质量和空间分辨率，从而展示了分解模型图像产生的潜力，以克服显微镜图像收集和注释的限制。最后，该管道公开可用，可在线运行和用户友好，以使研究人员能够生成自己的合成显微镜数据。这项工作证明了显微镜任务的生成分歧模型的潜在贡献，并为其在该领域的未来应用铺平了道路。