Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
Token作为现代自回归模型的基本计算单位，生成长度直接影响推理成本和推理性能。尽管它很重要，但现有方法缺乏细粒度的长度建模，主要在粗粒度的序列级别上运行。在本文中，我们介绍了长度值模型（LenVM），这是一个令牌级框架，用于对每个解码步骤的剩余生成长度进行建模。通过将长度建模表述为价值估计问题，并为每个生成的代币分配恒定的负奖励，LenVM…
长上下文处理仍然是语言模型的核心挑战：即使具有扩展的上下文窗口，模型通常也无法跨长上下文可靠地提取、推理和使用信息。最近的工作，如递归语言模型（RLM），通过推理时的编程交互将长上下文分解为递归子查询的代理方式来应对这一挑战。尽管前景广阔，但 RLM 的成功关键取决于如何选择这些情境交互程序的轨迹，而这一点尚未得到探索。在本文中，我们研究这个问题......
