DRTUNE

对调整文本到图像扩散模型的深度奖励监督

摘要。使用给定的重新函数优化文本对图像扩散模型是一个重要但毫无争议的研究领域。在这项研究中，我们提出了深度奖励调整（DRTUNE），该算法直接监督文本到图像扩散模型的最终输出图像，并通过迭代采样过程向输入噪声进行后退。我们发现，采样过程中的较早步骤对于低水平的奖励至关重要，并且可以通过停止denoing net-work-work-work-work输入的梯度来有效地实现深层监督。Drtune在各种奖励模型上进行了广泛的评估。它始终优于其他算法，尤其是对于所有浅层监督方法失败的低级控制信号。此外，我们通过DRTUNE微调稳定扩散XL 1.0（SDXL 1.0）模型，以优化人类偏好得分v2.1，从而导致有利的扩散XL 1.0（FDXL 1.0）模型。FDXL 1.0显着提高了图像质量，并且与Midjourney v5.2相比，质量可比。5