Why LLMs Overthink Easy Puzzles but Give Up on Hard Ones
人工智能通过大型语言模型(LLM)及其高级同行,大型推理模型(LRMS),重新定义机器如何处理和生成类似人类的文本。这些模型可以写论文,回答问题,甚至解决数学问题。然而,尽管具有令人印象深刻的能力,但这些模型表现出了好奇的行为:它们经常夸大简单的问题,而[...]为什么llms llms过度思考轻松拼图但放弃了硬性问题,这首先出现在unite.ai上。
AI Models Still Far From AGI-Level Reasoning: Apple Researchers
AI模型还远离Agi级推理:Martin Young通过Cointelegraph.com撰写的Apple研究人员,开发人工通用情报(AGI)的竞赛仍然很长一段路要走。最近对领先的AI大语言模型(LLM)(例如Openai的Chatgpt和Anthropic的Claude)的最新更新包括大型推理模型(LRMS),但是它们的基本能力,扩展性能和局限性“保持不足”,“仍然不足以理解”他们指出,当前的评估主要集中于既定的数学和编码基准,“强调最终答案的准确性”。但是,这种评估并不能提供对AI模型的推理能力的见解。这项研究与期望人工通用情报距离几年的期望形成鲜明对比。应用研究人员测试“思考” AI模型
最近几代的边境语言模型引入了大型推理模型(LRMS),该模型在提供答案之前生成详细的思维过程。尽管这些模型可以提高推理基准的性能,但它们的基本功能,尺度属性和局限性仍然不足以理解。当前的评估主要是关于已建立的数学和编码基准的FO-CUS,强调了最终答案的准确性。但是,这种评估范式通常会遭受数据污染,并且不能为推理迹象提供见解。