详细内容或原文请订阅后点击阅览
半离散耦合的流量匹配
参数化为与时间相关的速度场的流动模型可以通过积分 ODE 从噪声生成数据。这些模型通常使用流匹配进行训练，即通过对噪声和目标点 (x0,x1)(\mathbf{x}_0, \mathbf{x}_1)(x0,x1) 的随机对进行采样，并确保沿分段链接评估时速度场平均与 x1−x0\mathbf{x}_1 - \mathbf{x}_0x1−x0 对齐x0\mathbf{x}_0x0 到 x1\mathbf{x}_1x1。虽然默认情况下这些对是独立采样的，但也可以通过将 nnn 噪声批次与 nnn 目标匹配来更仔细地选择它们......
来源:Apple机器学习研究参数化为与时间相关的速度场的流动模型可以通过积分 ODE 从噪声生成数据。这些模型通常使用流匹配进行训练，即通过对随机的噪声和目标点对 (x0,x1)(\mathbf{x}_0, \mathbf{x}_1)(x0,x1) 进行采样，并确保沿分段链接评估时速度场平均与 x1−x0\mathbf{x}_1 - \mathbf{x}_0x1−x0对齐x0\mathbf{x}_0x0到 x1\mathbf{x}_1x1。虽然默认情况下这些对是独立采样的，但也可以通过使用最佳传输 (OT) 解算器将 nnn 噪声批次与 nnn 目标点进行匹配来更仔细地选择它们。尽管理论上很有前景，但 OT 流量匹配 (OT-FM) 方法在实践中并未得到广泛应用。张等人。 (2025) 最近指出，当批量大小 nnn 显着增长时，OT-FM 才真正开始获得回报，只有 Sinkhorn 算法的多 GPU 实现才能处理这种情况。不幸的是，运行 Sinkhorn 的成本会迅速膨胀，需要对每个用于拟合速度场的 nnn 对进行 O(n2/ε2)O(n^2/\varepsilon^2)O(n2/ε2) 次操作，其中 ε\varepsilonε 是一个正则化参数，通常应该很小才能产生更好的结果。为了实现 OT-FM 的理论承诺，我们建议放弃批量 OT，转而依赖半离散公式，该公式利用了目标数据集分布通常具有有限大小的 NNN 这一事实。 SD-OT问题通过使用SGD估计对偶势向量来解决；使用该向量，可以将训练时新采样的噪声向量与数据点进行匹配，但代价是最大内积搜索 (MIPS)。半离散 FM (SD-FM) 消除了对 n/εn/\varepsilonn/ε 的二次依赖性，该依赖性是 OT-FM 的瓶颈。 SD-FM 在所有训练指标和推理预算约束、跨多个数据集、无条件/条件生成或使用平均流模型时都击败了 FM 和 OT-FM。