CAR-Flow:条件感知重新参数化调整源和目标以实现更好的流量匹配

条件生成建模旨在从包含数据条件对的样本中学习条件数据分布。为此,扩散和基于流动的方法已经取得了引人注目的结果。这些方法使用学习的(流)模型将忽略条件的初始标准高斯噪声传输到条件数据分布。因此,该模型需要学习质量传输和条件注射。为了缓解对模型的需求,我们提出了流量匹配的条件感知重新参数化(CAR-Flow)——一种轻量级的、学习性的转变,可以调节……

来源:Apple机器学习研究

条件生成建模旨在从包含数据条件对的样本中学习条件数据分布。为此,扩散和基于流动的方法已经取得了引人注目的结果。这些方法使用学习的(流)模型将忽略条件的初始标准高斯噪声传输到条件数据分布。因此,该模型需要学习质量传输和条件注射。为了缓解对模型的需求,我们提出了流匹配的条件感知重新参数化(CAR-Flow)——一种轻量级的学习转变,可以调节源分布、目标分布或两者的分布。通过重新定位这些分布,CAR-Flow 缩短了模型必须学习的概率路径,从而加快了实践中的训练速度。在低维合成数据上,我们可视化并量化 CAR-Flow 的效果。在更高维的自然图像数据 (ImageNet-256) 上,为 SiT-XL/2 配备 CAR-Flow 将 FID 从 2.07 降低至 1.68,同时引入不到 0.6% 的额外参数。

    ** 在 Apple 期间完成的工作