详细内容或原文请订阅后点击阅览
一种用于自回归程序合成的小型系统，可实现受控实验
使用经过训练来完成真实程序的小型模型可以进行哪些研究？通常，研究人员通过大型语言模型（LLM）研究程序合成，这会带来一些问题，例如了解分布内或分布外的内容、了解微调效果、理解标记化的效果以及对进行实验的计算和存储提出更高的要求。我们提出了一个名为 Cadmus 的系统，其中包括一个整数虚拟机 (VM)、一个由不同任务的真实程序组成的数据集，以及一个经过 200 美元以下计算训练的自回归变压器模型……
来源:Apple机器学习研究使用经过训练来完成真实程序的小型模型可以进行哪些研究？通常，研究人员通过大型语言模型（LLM）研究程序合成，这会带来一些问题，例如了解分布内或分布外的内容、了解微调效果、理解标记化的效果以及对进行实验的计算和存储提出更高的要求。我们提出了一个名为 Cadmus 的系统，其中包括一个整数虚拟机 (VM)、一个由不同任务的真实程序组成的数据集，以及一个自回归变压器模型，该模型的训练计算成本低于 200 美元。该系统可用于研究程序完成、分布外表示、归纳推理和指令遵循，研究人员可以有效且负担得起的训练分布的细粒度控制以及检查和仪器模型的能力。处理复杂推理任务的较小模型可以实现仪器和调查，而这在较大模型上可能会非常昂贵。为了证明这些任务足够复杂而令人感兴趣，我们证明这些 Cadmus 模型的性能优于 GPT-5（准确率达到 100%，而 GPT-5 的准确率达到 95%），即使是在用我们的领域特定语言 (DSL) 完成正确的整数算术程序的简单任务上，同时提供数据集与问题关系的透明度。我们还表明，GPT-5 在解决相同任务时将未知的先验带入其推理过程，这证明了一个混杂因素，阻碍了在某些需要充分理解训练集与任务关系的调查中使用大规模 LLM。