详细内容或原文请订阅后点击阅览
T-Bank优化语言模型额外训练流程
T-Technology 研究实验室的研究人员开发了一种统一的方法来评估重新训练语言模型的方法。
来源:OSP网站大数据新闻T-Technology Group 科学研究实验室的研究人员比较了从预先准备的答案对中学习的大型语言模型的额外训练方法，结果表明，主要的质量因素是答案的排序类型：成对（pairwise），即模型立即看到一个查询的两个答案并进行比较，或者逐点（pointwise），即模型单独评估每个答案。该团队开发了一种统一的方法，可以在相同条件下比较再训练方法，并更准确地评估哪些因素影响模型的质量。
为了让语言模型更好地遵循人类偏好，正在开发不同的额外训练方法。其中之一是直接比对算法，例如DPO、ORPO、SimPO、IPO。此类算法简化了额外训练的经典过程，并立即教导模型从一对中选择更准确和有用的答案。近年来出现了许多类似的方法，并且很难直接比较它们：它们使用不同的训练步骤、设置和方法来比较响应。
T-Technologies 的研究人员开发了一种统一的方法，可以将此类方法应用于可比较的条件。为此，他们将单阶段的 ORPO 和 ASFT 方法转换为两阶段的方法：首先，模型在老师的指导下接受额外的训练（监督微调），即从高质量的示例中学习，然后分别进行对齐，学习从一对中选择最佳答案。研究人员还将 β 参数引入到 ORPO 和 ASFT 方法中，这是以前不存在的。该参数控制对人类偏好进行再训练的强度，并指示模型在学习区分成功响应和不成功响应时应改变多少行为。这使您可以更客观地相互比较方法。重要的是，这种设置不会削弱 ORPO 和 ASFT，相反，会提高它们的质量。