A Small-Scale System for Autoregressive Program Synthesis Enabling Controlled Experimentation
使用经过训练来完成真实程序的小型模型可以进行哪些研究？通常，研究人员通过大型语言模型（LLM）研究程序合成，这会带来一些问题，例如了解分布内或分布外的内容、了解微调效果、理解标记化的效果以及对进行实验的计算和存储提出更高的要求。我们提出了一个名为 Cadmus 的系统，其中包括一个整数虚拟机 (VM)、一个由不同任务的真实程序组成的数据集，以及一个经过 200 美元以下计算训练的自回归变压器模型……
