详细内容或原文请订阅后点击阅览
通过蒸馏实现记忆保留微调
这篇论文被 NeurIPS 2024 的“现代机器学习中的微调：原理和可扩展性 (FITML)”研讨会接受。在大量互联网文本上进行预训练的大型语言模型 (LLM) 拥有世界上的大量知识。在预训练之后，人们通常需要对某些能力进行持续的预训练，例如数学和编码，或“后训练”（又称对齐）技术，以使模型遵循用户的指示并使其与人类偏好保持一致。这些微调阶段的一个挑战是模型可能会丢失预训练知识……
来源:Apple机器学习研究这篇论文被 NeurIPS 2024 的“现代机器学习中的微调：原理和可扩展性 (FITML)”研讨会接受。
在大量互联网文本上进行预训练的大型语言模型 (LLM) 拥有世界上的大量知识。在预训练之后，人们通常需要对某些能力（例如数学和编码）进行持续的预训练，或“后训练”（又称对齐）技术，以使模型遵循用户的指示并使其与人类偏好保持一致。这些微调阶段的一个挑战是模型可能会丢失预训练知识或忘记某些能力（例如，上下文学习能力）。此外，尽管存在强大的开放权重 LLM，例如 Llama 3，但它们的预训练和后训练数据都不向公众开放，因此很难将微调数据与模型自己的预训练数据混合作为缓解遗忘的解决方案。我们提出了标签退火，这是一种无需访问原始预训练数据即可减轻微调过程中遗忘的方法。标签退火通过在损失函数中添加 KL 散度项来提炼微调过程中的预训练知识，从而规范微调模型的预测与初始预训练模型的预测之间的散度。在数学和代码微调中，标签退火可提高模型在目标域中的性能，而不会牺牲预训练模型的其他功能。在对齐微调中，我们的方法在指令遵循能力和预训练知识之间引入了平滑的权衡。我们用一个具有过度参数化线性回归的数学模型来补充我们的实证研究，该模型提供了标签退火为何有帮助的几何直觉。