详细内容或原文请订阅后点击阅览

GSM-Symbolic：了解大型语言模型中数学推理的局限性

2024年10月11日 00:00 33 Comments
X Twitter Instagram Mail

大型语言模型 (LLM) 的最新进展引发了人们对其形式推理能力的兴趣，尤其是在数学方面。GSM8K 基准被广泛用于评估模型在小学水平问题上的数学推理能力。虽然近年来 LLM 在 GSM8K 上的表现显着提高，但它们的数学推理能力是否真正进步仍不清楚，这引发了人们对所报告指标可靠性的质疑。为了解决这些问题，我们对几个 SOTA 开放和封闭模型进行了大规模研究。为了……

来源:Apple机器学习研究

429太多请求

GSM 模型的 下降 模板 不同的 LLM 问题 大规模 进行 研究 人们 局限性 Symbolic 模型 GSM8K 推理 能力 可靠性 脆弱性 评估模型 提高 数学