详细内容或原文请订阅后点击阅览
MT-EditFlow：使用流匹配进行多轮图像编辑的强化学习
最近基于指令的图像编辑方面的突破引起了广泛关注，因为模型现在能够处理现实世界的编辑需求，并具有日常用户所需的实用性。然而，主要针对单轮编辑训练的编辑模型通常会在多轮编辑中崩溃——多轮编辑是用户根据模型自己之前的输出迭代地细化图像的自然交互设置。这种失败源于全有或全无的要求，其中单个失败的回合会损害整个序列，以及错误传播，其中曝光偏差会导致……
来源:Apple机器学习研究最近基于指令的图像编辑方面的突破引起了广泛关注，因为模型现在能够处理现实世界的编辑需求，并具有日常用户所需的实用性。然而，主要针对单轮编辑训练的编辑模型通常会在多轮编辑中崩溃——多轮编辑是用户根据模型自己之前的输出迭代地细化图像的自然交互设置。这种失败源于“全有或全无”的要求，其中一个失败的回合会损害整个序列，以及错误传播，其中曝光偏差会导致复合编辑错误。为了应对这些挑战，我们引入了 MT-EditFlow，这是一种流程匹配强化学习框架，旨在优化顺序图像编辑的奖励信号。 MT-EditFlow 将多轮视角与多奖励公式相结合，提供适用于 GRPO 和基于 NFT 的强化学习方法的统一结构。我们通过研究轮级聚合的有效评分策略、权衡奖励偏差和方差的 VLM 推理模式以及防止奖励黑客攻击的优势融合水平，系统地分析和优化奖励信号。我们的研究结果表明，在整个编辑轨迹上传播聚合优势有效地弥合了局部规划和全局多轮任务成功之间的差距。大量实验表明，MT-EditFlow 显着提高了不同基础模型的性能。值得注意的是，它将 FLUX.1-Kontext-dev 在第 3 轮整体性能上提升了 6.85 个点，超越了 Qwen-Image-Edit 等最先进的开源模型。通过保持较高的边际成功率并减少曝光偏差，MT-EditFlow 为视觉内容创作中更可靠、更自然的人机协作奠定了基础。