Deepseek 在经济学中取得 F+

LLM 很难回答这个非常基本的经济学问题:提示:“这在事实上准确吗?正相关的价格-数量对表明需求曲线发生了变化。” LLM 会说这可能是错误的,但总是不提供反例,甚至不提及反例可以作为这种答案的基础。OpenAI 的 o1 模型有时是个例外,它跌跌撞撞地意识到在通常的供需斜率假设下不存在反例。如果只给出一点使用逻辑的提示,OpenAI 的所有模型都会提供一个很好的答案。提示:“这在事实上准确吗?正相关的价格-数量对表明需求曲线发生了变化。[提示:考虑反证法]” Grok2 和 Deepseek 的答案并没有随着提示而改善。Grok2 对什么是反证法表现出很大的困惑。 Deepseek 是最糟糕的学生,他自信满满地给出了一个冗长的错误答案:GPT-4o 在得到提示时给出了一个很好的答案:正相关价格-数量对的分析“正相关的价格-数量对表明需求曲线发生了变化”的说法需要仔细研究。让我们考虑一下需求和供应的动态,以了解这个说法的准确性。从基本的经济术语来看,需求定律表明,在其他条件相同的情况下,随着商品价格的下降,需求量会增加,反之亦然。这就产生了

来源:Casey Mulligan博客

LLM 很难回答这个非常基本的经济学问题:

LLM 很难回答这个非常基本的经济学问题:

提示:“这在事实上准确吗?

这在事实上准确吗?

正相关的价格-数量对表明需求曲线发生了变化。”

正相关的价格-数量对表明需求曲线发生了变化。” 正相关的价格-数量对表明需求曲线发生了变化。

LLM 会说这可能是错误的,但总是不提供反例,甚至不提及反例可以作为这种答案的基础。OpenAI 的 o1 模型有时是一个例外,它跌跌撞撞地意识到在通常的供需斜率假设下不存在反例。

LLM 会说这可能是错误的,但总是不提供反例,甚至不提及反例可以作为这种答案的基础。OpenAI 的 o1 模型有时是一个例外,它偶然意识到在通常的供需斜率假设下不存在反例。

如果只给出一点使用逻辑的提示,OpenAI 的所有模型都会提供一个很好的答案。

如果只给出一点使用逻辑的提示,OpenAI 的所有模型都会提供一个很好的答案。

提示:“这在事实上准确吗?

提示:“这在事实上准确吗? 这在事实上准确吗?

正相关的价格-数量对表明需求曲线发生了变化。

正相关的价格-数量对表明需求曲线发生了变化。 正相关的价格-数量对表明需求曲线发生了变化。

[提示:考虑矛盾证明]”

[提示:考虑矛盾证明]” [提示:考虑矛盾证明]

Grok2 和 Deepseek 的答案并没有随着提示而改善。Grok2 对什么是矛盾证明表现出很大的困惑。Deepseek 是最糟糕的学生,给出了一个充满信心的冗长错误答案:

GPT-4o 给出了一个很好的答案

结论