分而治之?您应该提炼 LLM 的哪一部分?

最近的方法表明,当鼓励大型语言模型 (LLM) 首先解决主任务的子任务时,它们可以更好地解决推理任务。在本文中,我们设计了一种类似的策略,将推理任务分解为问题分解阶段和问题解决阶段,并表明该策略能够胜过单阶段解决方案。此外,我们假设与问题解决相比,分解应该更容易提炼成较小的模型,因为后者需要大量的领域知识,而前者只需要……

来源:Apple机器学习研究

知识重要:Gulcehre等人的先验信息进行优化的重要性[7]。 Al。试图通过提出问题或培训程序中的工程知识而难以学习的问题来建立当前黑框,深度学习技术的局限性。在我们的工作中,我们完全使用通用模型完全解决了先前的知识问题,构成了更困难,更可扩展的问题,全对,并提高了

请参阅纸张详细信息