详细内容或原文请订阅后点击阅览
目标混凝土分数匹配：离散扩散的整体框架
离散扩散是建模和生成离散数据的有前途的框架。在这项工作中，我们提出了目标混凝土评分匹配（TCSM），这是一个新颖而多功能的目标，用于训练和微调离散扩散模型。 TCSM提供了一个具有广泛适用性的一般框架。它直接从数据样本中支持训练前离散扩散模型，许多现有的离散扩散方法自然出现为我们更一般的TCSM框架的特殊情况。此外，相同的TCSM目标扩展到离散扩散模型的训练后，包括…
来源:Apple机器学习研究离散扩散是建模和生成离散数据的有前途的框架。在这项工作中，我们提出了目标混凝土评分匹配（TCSM），这是一个新颖而多功能的目标，用于训练和微调离散扩散模型。 TCSM提供了一个具有广泛适用性的一般框架。它直接从数据样本中支持训练前离散扩散模型，许多现有的离散扩散方法自然出现为我们更一般的TCSM框架的特殊情况。此外，相同的TCSM目标扩展到离散扩散模型的培训后，包括使用奖励功能或偏好数据进行微调，以及从预训练的自动回归模型中蒸馏出知识。这些新功能源于TCSM的核心思想，估计了目标分布的具体分数，该目标分布位于原始（清洁）数据空间中。这允许与奖励功能和预训练的模型无缝集成，这些模型本质上仅在干净的数据空间中起作用，而不是扩散过程的嘈杂中间空间。我们对语言建模任务的实验表明，TCSM匹配或超过当前方法。此外，TCSM具有通用性，适用于训练前和训练后场景，提供了更大的灵活性和样本效率。
- **在Apple