详细内容或原文请订阅后点击阅览
让小语言模型能够解决复杂的推理任务
“自引导”DisCIPL 系统指导小型模型协同处理有约束的任务，例如行程规划和预算。
来源:MIT新闻 - 人工智能随着语言模型 (LM) 在图像生成、琐事问题和简单数学等任务方面的改进，您可能会认为类人推理即将到来。事实上，在复杂的任务上，它们仍然远远落后于我们。例如，尝试玩数独，您可以填写数字一到九，每个数字在九乘九网格的列、行和部分中仅出现一次。你的人工智能对手要么无法自行填写方框，要么效率低下，尽管它可以验证你是否正确填写了方框。
无论 LM 是尝试解决高级难题、设计分子还是编写数学证明，系统都很难回答需要遵循严格规则的开放式请求。该模型更擅长告诉用户如何应对这些挑战，而不是亲自尝试。此外，亲自解决问题需要语言模型在遵循约束的同时考虑广泛的选择。小型 LM 无法自行可靠地完成此任务；大型语言模型（LLM）有时可以，特别是如果它们针对推理任务进行了优化，但它们需要一段时间才能做出响应，并且需要消耗大量计算能力。
这种困境促使麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员开发了一种协作方法，由法学硕士进行规划，然后将该策略的跑腿工作分配给较小的团队。他们的方法帮助小型 LM 提供比 OpenAI 的 GPT-4o 等领先的 LLM 更准确的响应，并接近 o1 等顶级推理系统的精度，同时比两者都更高效。他们的框架称为“语言模型推理编程的分布式约束”（或“DisCIPL”），在编写文本简介、预算杂货清单和旅行行程等内容时，有一个大型模型引导较小的“追随者”模型做出精确响应。
失败者的故事更快、更便宜、更好