XiaoMi-AI文件搜索系统
World File Search SystemGSM8K
超出字面描述：理解和找到与人类意图一致的开放世界对象
大型语言模型（LLMS）在解决Comples开放域任务方面具有出色的功能，并以提示形式进行的综合指示和示威。但是，这些提示可能是冗长的，通常会组成数百条线和数千个托管，它们的设计通常需要人们的努力。最近的研究已在短提示中介绍了自动及时工程，通常由一个或几个句子组成。但是，由于其巨大的搜索空间，长提示的自动设计仍然是一个具有挑战性的问题。在此pa-per中，我们提出了一种名为“自动及时工程XPERT（APEX）的算法”，这是一种新型算法，可以自动改善长时间的提示。利用具有横梁搜索的贪婪算法提高效率，Apex Uti-Liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz extimive stripifimentive stripivine 在其搜索过程中显着提高了基于LLM的突变的有效性。 我们的结果表明，APEX在Big Banch中的八个任务中平均获得9.2％的准确性增益，并且具有各种模型的GSM8K的持续改进，突出了自动提示设计的重要性，以完全利用LLMS的功能。在其搜索过程中显着提高了基于LLM的突变的有效性。我们的结果表明，APEX在Big Banch中的八个任务中平均获得9.2％的准确性增益，并且具有各种模型的GSM8K的持续改进，突出了自动提示设计的重要性，以完全利用LLMS的功能。
![arxiv：2410.15115v3 [cs.lg] 2024年11月27日](/simg/6\66cf6649af9d23f3e14bb27b88f10eeacff6353e.webp)
arxiv：2410.15115v3 [cs.lg] 2024年11月27日
奖励模型越来越重要，对于改善LLMS的推理性能。现有的研究表明，训练有素的奖励模型可以通过搜索或最佳n票在推理时间上大大改善模型性能。但是，在RL训练时间期间奖励模型的潜力仍然很大程度上还不足。目前尚不清楚这些奖励模型是否可以为使用稀疏成功奖励的RL培训提供额外的培训信号，从而验证解决方案的正确性。在这项工作中，我们评估了RL培训的流行奖励模型，包括受结果监督的奖励模型（ORM）和程序监督的奖励模型（PRM），以及通过将这些学习的奖励与成功奖励相结合，培训了使用RL的LLM集合来解决数学问题。令人惊讶的是，即使这些学到的奖励模型具有强大的推理时间表演，它们也可能不会帮助甚至伤害RL训练，而与仅接受成功奖励的LLM相比，表现差。我们的分析表明，LLM可以通过重复正确但不必要的推理步骤从其中一些奖励模型获得高奖励，这导致了RL培训的严重奖励黑客问题。因此，我们介绍了两种新颖的奖励精致技术，包括剪裁和三角洲。关键思想是确保任何推理轨迹的累积奖励都受到上限，以使学习的奖励模型有效而无需被利用。我们在数学和GSM8K基准的一组1.5B和7B LLMS上使用多个奖励模型评估了我们的技术，其中剪切和Delta都始终稳定RL训练。最后，我们还证明，通过精心设计的奖励功能，无需任何其他监督调整的纯RL训练就可以进一步改善所有评估的LLM，包括数学和GSM8K基准的最先进的7B LLM QWEN2.5-MATH-7B-7B-7B-7B。
增强学习是您需要的
为了评估增强学习（RL）培训的影响，我们将新优化模型的性能与六个广受认可的基准测试的基础模型进行了系统的比较。这些基准已广泛用于评估大语模型（LLMS），现有结果可在HuggingFace [19]上使用。选定的基准是：小学数学8K（GSM8K）[20] [20]，指导遵循评估（IFEVAL）[21] [21]，Big Bench Hard（BBH）[22] [22]，数学能力测试（数学）[23] [23]，更强大且具有更强大且具有挑战性的多任务语言理解Benchmark（MMLU-Pro）[24] [24] [24] [24] [24]。这些基准共同涵盖了各种语言和认知挑战，包括以下教学，多步推理，数学解决问题，专家级别的问答和复杂的知识综合。下面，我们提供了每个基准及其意义的详细概述。
通过直接Q功能优化增强语言模型的多步推理能力
强化学习（RL）在使大语言模型（LLMS）与人类偏好相结合并提高其执行复杂任务的能力方面起着至关重要的作用。但是，由于使用多种模型和大量的在线抽样培训（例如PPO），当前的方法要么需要大量的计算资源（例如，PPO），要么被用作匪徒问题（例如，DPO，DRO），通常在多步理学任务中挣扎，例如数学问题和复杂的推理，涉及较长的思想链条。为了克服这些局限性，我们引入了直接的Q-功能优化（DQO），该优化将响应生成过程作为马尔可夫决策过程（MDP），并利用软actor-Critic（SAC）框架来优化语言模型直接参数参数的Q函数。DQO的MDP公式提供了比基于匪徒的方法的结构优势，从而实现了更有效的过程监督。对两个数学解决问题数据集GSM8K和数学的实验结果表明，DQO胜过以前的方法，将其确定为一种有希望的离线强化学习方法，以使语言模型对齐。
生成验证者：作为下一句话预测的奖励建模
验证者或奖励模型通常用于增强大语言模型（LLM）的推理性能。一种常见的方法是最好的N方法，其中LLM生成的N候选解决方案由验证者排名，并且选择了最好的解决方案。基于LLM的验证者通常被培训为判别性分类器以评分解决方案，但它们并未利用验证的LLM的文本生成能力。为了克服这一限制，我们使用无处不在的下一步预测目标提出了培训验证仪，共同核对和解决方案生成。与标准验证符相比，这种生成验证符（GENRM）可以从LLM的几个优点中受益：它们与指导调整无缝集成，启用了经过思考的推理，并且可以通过多数投票利用额外的测试时间计算来获得更好的验证。我们证明GENRM的表现优于歧视性，DPO验证者和LLM-AS-A-a-gudge，导致了最佳N的性能增长，即5％→45。算法任务的3％和73％→93。GSM8K的4％。 在易于硬化的概括设置中，我们观察到28％→44的改善。 数学的6％，37。 9％→53。 MMLU摘要代数为5％。 此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。 最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。GSM8K的4％。在易于硬化的概括设置中，我们观察到28％→44的改善。数学的6％，37。 9％→53。 MMLU摘要代数为5％。 此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。 最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。数学的6％，37。9％→53。MMLU摘要代数为5％。 此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。 最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。MMLU摘要代数为5％。此外，我们发现具有合成验证原理的训练GENRM足以在数学问题上发现微妙的错误。最后，我们证明GENRM会以模型大小和测试时间计算来表现出色。
Skywork-Math：大型语言模型中数学推理的数据缩放定律——故事还在继续
在本文中，我们研究了可能增强大型语言模型 (LLM) 数学推理能力的潜在因素。我们认为，现代 LLM 中数学推理能力的数据缩放规律远未饱和，这突显了模型质量如何随着数据量的增加而提高。为了支持这一说法，我们使用我们提出的 2.5M 实例 Skywork-MathQA 数据集在常见的 7B LLM 上引入了 Skywork-Math 模型系列，该模型系列进行了监督微调 (SFT)。仅使用 SFT 数据，Skywork-Math 7B 在竞赛级 MATH 基准上实现了 51.2% 的惊人准确率，在 GSM8K 基准上实现了 83.9% 的惊人准确率，在 MATH 上的表现优于 GPT-4 的早期版本。 Skywork-Math 模型的卓越性能为我们新颖的两阶段数据合成和模型 SFT 流程做出了贡献，其中包括三种不同的增强方法和多样化的种子问题集，从而确保了 Skywork-MathQA 数据集在不同难度级别上的数量和质量。最重要的是，我们提供了一些实用的要点，以增强 LLM 中的数学推理能力，无论是在研究还是在行业应用中。
培训大语模型通过反向课程加强学习
在本文中，我们提出了R 3：通过R Everse课程学习（RL）进行学习，这是一种新颖的方法，仅采用结果监督来实现对大语言模型的过程监督的好处。将RL应用于复杂推理的核心挑战是确定一系列动作，从而导致积极的奖励并为优化提供适当的监督。成果监督为最终结果提供了稀疏的奖励，并确定了错误位置，而过程监督提供了逐步奖励，但需要大量的手动注释。r 3通过从正确的演示中学习来克服这些局限性。具体来说，r 3从演示的结束到开头逐渐滑动推理的开始状态，从而促进了所有阶段更轻松的模型。因此，r 3建立了一个逐步的课程，允许结果监督提供级级信号，并精确地确定了词。使用Llama2-7b，我们的方法超过了八个推理任务的RL基线4。平均1点。NoteBaly，在GSM8K上基于程序的推理中，它超过了基线4。在三个骨干模型中的2分，没有任何额外数据，Codellama-7b + R 3可以对较大的型号或封闭源模型执行组合。1