Embarrassingly Simple Self-Distillation Improves Code Generation
大型语言模型 (LLM) 能否在没有验证器、教师模型或强化学习的情况下仅使用其自己的原始输出来改进代码生成？我们通过简单自蒸馏（SSD）给出肯定的答案：从具有特定温度和截断配置的模型中抽取样本解决方案，然后使用标准监督微调对这些样本进行微调。 SSD 在 LiveCodeBench v6 上将 Qwen3-30B-Instruct 从 42.4% 提高到 55.3% pass@1，收益主要集中在更难的问题上，并且它在 4B、8B 和 30B 规模的 Qwen 和 Llama 模型上进行了推广，包括......
