详细内容或原文请订阅后点击阅览
DynaMiCS：使用动态混合在性能约束下微调法学硕士
大型语言模型的多域微调需要提高目标域的性能，同时保留受限域的性能，例如常识、指令遵循或安全评估。现有的数据混合策略依赖于固定的启发式或自适应规则，无法明确强制保留此类功能。我们提出了 DynaMiCS，一种动态混合优化器，它将多域微调作为约束优化问题。每次更新时，DynaMiCS 都会执行短的特定域探测运行，以估计局部的斜率矩阵...
来源:Apple机器学习研究大型语言模型的多域微调需要提高目标域的性能，同时保留受限域的性能，例如常识、指令遵循或安全评估。现有的数据混合策略依赖于固定的启发式或自适应规则，无法明确强制保留此类功能。我们提出了 DynaMiCS，一种动态混合优化器，它将多域微调作为约束优化问题。在每次更新时，DynaMiCS 都会执行简短的特定领域探测运行，以估计局部跨域效应的斜率矩阵，捕获每个微调数据集上的训练如何影响每个评估域。然后，这些估计用于通过概率单纯形的优化来计算混合权重，目的是提高目标域性能，同时将约束域损失保持在参考水平以下。在具有不同数量的目标域和约束域的多域微调场景中，DynaMiCS 比固定混合基线实现了更强的目标域改进和更高的约束满意度，计算成本更低，并且无需参考模型、每个示例评分或手动调整混合权重。