详细内容或原文请订阅后点击阅览
建设性电路放大：通过有针对性的子网络更新改进法学硕士的数学推理
之前对法学硕士内部运作的研究发现了稀疏子网络，通常称为电路，负责执行特定任务。此外，研究表明，通过微调来提高模型性能通常来自于模型中现有电路的强化。总而言之，这些发现表明直接干预此类电路以进行精确的、针对任务的更新的可能性。受这些发现的启发，我们提出了一种称为“结构性电路放大”的新方法，它可以识别关键令牌……
来源:Apple机器学习研究之前对法学硕士内部运作的研究发现了稀疏子网络，通常称为电路，负责执行特定任务。此外，研究表明，通过微调来提高模型性能通常来自于模型中现有电路的强化。总而言之，这些发现表明直接干预此类电路以进行精确的、针对任务的更新的可能性。受这些发现的启发，我们提出了一种称为构造性电路放大的新方法，该方法从模型推理轨迹中识别关键标记以及负责所需任务的模型组件，并仅更新这些组件。应用于数学推理时，它可以将多个模型的准确性提高高达 +11.4%，同时修改的模型组件少至 1.59%，并且对 MMLU、TriviaQA 和 TruthfulQA 衡量的其他能力的影响最小。这些结果表明，通过有选择地更新一组稀疏的模型组件，可以可靠地增强目标功能。