详细内容或原文请订阅后点击阅览
改进 GFlowNets 以实现文本到图像扩散对齐
这篇论文被 ICML 2024 的 Foundation Models in the Wild 研讨会接受。扩散模型已成为生成视觉数据的实际方法，这些模型经过训练以匹配训练数据集的分布。此外，我们还希望控制生成以满足所需的属性，例如与文本描述的对齐，这可以通过黑盒奖励函数来指定。先前的工作通过基于强化学习的算法对预训练的扩散模型进行了微调，以实现此目标。尽管如此，它们仍存在一些问题，包括信用分配缓慢……
来源:Apple机器学习研究这篇论文被 ICML 2024 的 Foundation Models in the Wild 研讨会接受。
扩散模型已成为生成视觉数据的实际方法，这些模型经过训练以匹配训练数据集的分布。此外，我们还希望控制生成以满足所需的属性，例如与文本描述的对齐，这可以通过黑盒奖励函数来指定。先前的工作通过基于强化学习的算法对预训练的扩散模型进行微调以实现此目标。尽管如此，它们仍存在信用分配缓慢以及生成样本质量低等问题。在这项工作中，我们探索了不直接最大化奖励而是以相对较高的概率生成高奖励图像的技术——这是生成流网络 (GFlowNets) 框架的自然场景。为此，我们提出了使用 GFlowNet (DAG) 算法进行扩散对齐的算法，以使用黑盒属性函数对扩散模型进行后训练。对稳定扩散和各种奖励规范的大量实验证实，我们的方法可以有效地将大规模文本到图像扩散模型与给定的奖励信息对齐。