获取独家产品信息,尽享促销优惠!立即订阅,不容错过
* 限···时··优惠
Learning Structured Reasoning via Tractable Trajectory Control
大型语言模型可以表现出紧急推理行为,通常表现为重复出现的词汇模式(例如,“等待”,表示验证)。然而,在无约束采样中,复杂的推理轨迹仍然稀疏,并且标准强化学习通常无法保证获取多样化的推理行为。我们提出通过结构化推理来系统地发现和强化不同的推理模式,这种范式需要在强化学习过程中有针对性地探索特定的推理模式。为此,我们提出了 Ctrl-R,一个学习框架......