解决现实世界的优化问题时,当无法获得分析性的功能或约束时,特别具有挑战性。虽然许多研究已经解决了未知目标的问题,但在没有明确给出可行性约束的情况下进行了有限的研究。忽略这些概念可能会导致虚假的解决方案,这些解决方案在实践中是不现实的。要处理这种未知的约束,我们建议使用扩散模型在数据歧管中执行优化。为了将优化过程限制为数据歧管,我们将原始优化问题重新制定为从目标函数定义的Boltzmann分布的乘积和扩散模型学到的数据分布中的采样问题。为了提高Sampor的效率,我们提出了一个两阶段的框架,该框架从引导的扩散过程开始进行热身,然后是Langevin动力学阶段,以进行进一步校正。理论分析表明,初始阶段会导致针对可行解决方案的分布,从而为后期提供了更好的初始化。在合成数据集,六个现实世界的黑框优化数据集和多目标优化数据集上进行的综合实验表明,我们的方法具有以前的先前最先进的盆地,可以更好地或可比性的性能。
在计算机图形学中创建高质量的材质是一项具有挑战性且耗时的任务,需要很高的专业知识。为了简化这个过程,我们引入了 MatFuse,这是一种统一的方法,它利用扩散模型的生成能力来创建和编辑 3D 材质。我们的方法整合了多种条件来源,包括调色板、草图、文本和图片,增强了创造可能性并对材质合成进行了细粒度的控制。此外,MatFuse 通过多编码器压缩模型的潜在操作实现了地图级材质编辑功能,该模型可以学习每个地图的解开的潜在表示。我们在多种条件设置下展示了 MatFuse 的有效性,并探索了材质编辑的潜力。最后,我们根据 CLIP-IQA 和 FID 分数定量评估生成材质的质量,并通过开展用户研究定性评估生成材质的质量。用于训练 MatFuse 的源代码和补充材料可在 https://gvecchio.com/matfuse 上公开获取。
Conghao Wang获得了中国西安北大学的计算机科学技术学士学位。 他目前是新加坡南南技术大学计算机科学与工程学院的博士候选人。 他的重点是将可解释的AI应用于药物机理预测的应用,以及使用生成模型的小分子和生物制剂的从头设计。 Hiok Hian Ong获得了新加坡南南技术大学的工程科学学士学位(计算机科学)和科学硕士(技术管理)。 他目前正在担任机器学习工程师。 他的研究兴趣在于生物信息学,神经网络和机器学习之间的交集。 Shunsuke Chiba于2006年在东京大学Koichi Narasaka教授的监督下获得了博士学位。 2007年,他从事独立职业,担任新加坡南南技术大学(NTU)学院的独立职业,他目前是化学教授。 他的研究小组着重于从根本上新颖和实用的合成反应和催化的发展,这些反应和催化对于有效供应了药物兴趣的复杂有机分子。 Jagath Rajapakse是新加坡南南技术大学计算机科学与工程学教授。 他拥有莫拉图瓦大学,斯里兰卡大学的电子和电信工程学士学位,以及美国布法罗大学的电气和计算机工程的MS和PHD学位。 收到:2023年11月19日。Conghao Wang获得了中国西安北大学的计算机科学技术学士学位。他目前是新加坡南南技术大学计算机科学与工程学院的博士候选人。他的重点是将可解释的AI应用于药物机理预测的应用,以及使用生成模型的小分子和生物制剂的从头设计。Hiok Hian Ong获得了新加坡南南技术大学的工程科学学士学位(计算机科学)和科学硕士(技术管理)。他目前正在担任机器学习工程师。他的研究兴趣在于生物信息学,神经网络和机器学习之间的交集。Shunsuke Chiba于2006年在东京大学Koichi Narasaka教授的监督下获得了博士学位。2007年,他从事独立职业,担任新加坡南南技术大学(NTU)学院的独立职业,他目前是化学教授。他的研究小组着重于从根本上新颖和实用的合成反应和催化的发展,这些反应和催化对于有效供应了药物兴趣的复杂有机分子。Jagath Rajapakse是新加坡南南技术大学计算机科学与工程学教授。他拥有莫拉图瓦大学,斯里兰卡大学的电子和电信工程学士学位,以及美国布法罗大学的电气和计算机工程的MS和PHD学位。收到:2023年11月19日。他正在德国的认知和脑科学学院和美国国家心理健康研究所访问科学家。他正在马萨诸塞州理工学院的生物工程系访问教授。Rajapakse教授的研究工作在数据科学,机器学习,大脑成像以及计算和系统生物学领域。他目前的研究重点是开发用于诊断和治疗脑部疾病的技术和工具。他还在深入学习中研究抗癌药物发现。修订:2024年3月8日。接受:2024年3月3日©作者2024。牛津大学出版社出版。这是根据Creative Commons归因非商业许可(https://creativecommons.org/licenses/by-nc/4.0/)发行的开放访问文章,该媒介在任何媒介中允许非商业重复使用,分发和复制,前提是原始工作被正确引用。有关商业重复使用,请联系journals.permissions@oup.com
基于参数化量子电路的量子机器学习模型作为当前噪声量子处理器的早期应用,引起了广泛关注。虽然此类算法在实际学习任务中相对于经典算法的优势尚未得到证实,但学习由本质上是量子的量子系统生成的分布是一种很有前途的探索途径。在其他量子生成模型中,量子扩散模型已经证明了它们学习量子分布的能力,并且已被证明可以在经典数据集上工作。在这项工作中,我们提出了将量子扩散模型应用于部分子簇射的量子数据学习,因为这些是高能物理现象,由于其固有的量子特性,很难用经典方法模拟,并构成了量子数据学习的基准。
(未通过同行评审认证)是作者/资助者。保留所有权利。未经许可就不允许重复使用。此预印本版的版权持有人于2024年7月21日发布。 https://doi.org/10.1101/2024.07.17.603873 doi:biorxiv preprint
现实世界文本可能会因环境或人为因素引起的腐蚀问题而损害,这阻碍了文本的完整样式(例如纹理和结构)的保存。这些腐蚀问题,例如涂鸦迹象和不完整的签名,在理解文本方面带来了困难,从而对下游应用构成了重大挑战,例如场景文本识别和签名识别。值得注意的是,当前的介绍技术通常无法充分解决此问题,并且难以恢复准确的文本图像以及合理且一致的样式。将其作为文本图像中绘画的一个开放问题,旨在建立一个基准来促进其研究。在这样做时,我们建立了两个特定的文本插图数据集,分别包含场景文本图像和手写文本图像。它们中的每个图像都由现实生活和合成数据集重新消除,其中包含成对的原始图像,损坏的图像和其他助手信息。在数据集的顶部,我们进一步开发了一种新型的神经框架,全局结构引导的扩散模型(GSDM),作为潜在的解决方案。利用文本的全局结构为先验,提出的GSDM开发了一个有效的扩散模型,以恢复干净的文本。通过彻底的经验研究证明了我们方法的效率,包括识别精度和图像质量的实质性提高。这些发现不仅高出了我们方法的有效性,而且强调了它增强文本图像所构图和处理的更广泛领域的潜力。代码和数据集可在以下网址提供:https://github.com/blackprotoss/gsdm。
文本对图像(T2I)生成模型最近成为一种强大的工具,可以创建照片现实的图像并引起多种应用。然而,将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中,我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明,这些方法努力产生既忠实的(就前景对象)而且针对领域概念的多样化(在背景上下文中)。为了应对这一挑战,我们引入了一种创新的类数据增强方法,称为diff-mix 1,该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是,DIFF-MIX在信仰和多样性之间取得了更好的平衡,从而导致各种图像分类场景之间的性能显着提高,包括域名数据集的少量,常规和长尾分类。
在PC-Jedi的成功基础上构建了我们引入了PC-Droid,这是一种基本改进的射流颗粒云的扩散模型。通过利用新的扩散公式,对更近期的集成求解器进行研究,并同时对所有喷气类型进行培训,我们能够在所有评估指标中实现所有类型的JET的最新性能。我们通过比较两个基于注意力的架构以及一致性蒸馏以减少扩散步骤的数量来研究生成速度和质量之间的权衡。更快的架构和一致性模型都表现出超过许多竞争模型的性能,其发电时间比PC-Jedi快两个数量级,并且比Pythia快三个数量级。
使用扩散模型进行图像修复通常使用预条件模型(即针对绘画任务进行微调的图像条件模型)或后条件模型(即在推理时重新用于绘画任务的非条件模型)。预条件模型在推理时很快,但训练成本极高。后条件模型不需要任何训练,但在推理过程中很慢,需要多次前向和后向传递才能收敛到理想的解决方案。在这里,我们推导出一种不需要昂贵训练但推理速度很快的方法。为了解决昂贵的推理计算时间,我们在潜在空间而不是图像空间上执行前向-后向融合步骤。这是通过扩散过程中新提出的传播模块解决的。在多个领域进行的实验表明,我们的方法达到或改善了状态
与给定主题相关的刺激的网络梯度统计。概念神经元在解释和操纵生成结果方面表现出磁性。关闭它们可以直接产生在不同场景中情境化的相关主题。连接多个概念神经元簇可以生动地在单个图像中生成所有相关概念。我们的方法在多主题定制方面取得了令人印象深刻的性能,甚至四个或更多的主题。对于大规模应用,概念神经元是环境友好的,因为我们只需要存储一个稀疏的 int 索引簇,而不是密集的 float32 参数值,与以前的定制生成方法相比,存储消耗减少了 90%。对不同场景的广泛定性和定量研究表明,我们的算法具有优越性