机构名称：
¥ 2.0
生成模型的快速进步导致了构成质量的令人印象深刻的飞跃，从而模糊了合成数据和真实数据之间的界限。网络规模的数据集现在易于通过合成数据不可避免地污染，直接影响了未来生成的模型的培训。已经在文献中出现了自我消耗生成模型的一些理论结果（又称迭代性重新训练），表明模型崩溃或稳定性可能取决于每个重新培训步骤中使用的生成数据的分数。但是，实际上，合成数据通常受到人类反馈的约束，并在在线使用和上载之前由用户策划。例如，流行的文本到图像生成模型的许多接口（例如稳定的扩散或Midjourney）为给定查询产生了几种图像的变化，最终可以由用户策划。在本文中，我们从理论上研究了数据策展对生成模型的迭代重新培训的影响，并表明它可以看作是一种隐式优先优化机制。但是，与标准偏好优化不同，生成模型无法访问成对比较所需的奖励功能或负面样本。此外，我们的研究不需要访问密度函数，而只需要访问样品。我们证明，如果数据是根据奖励模型策划的，则最大化迭代重新训练程序的预期奖励。我们在每个步骤使用真实数据的正分数时进一步提供了关于重新循环的稳定性的理论结果。最后，我们在合成数据集和CIFAR10上进行说明性实验，表明这种过程扩大了奖励模型的偏见。
具有策划数据的自我消耗生成模型可证明优化人类偏好
主要关键词
相关文件推荐
