详细内容或原文请订阅后点击阅览
AI 模型的信心陷阱
为什么你的 AI 模型在 99% 的置信度下可能会出错这篇文章《AI 模型置信陷阱》首先出现在《走向数据科学》上。
来源:走向数据科学周六有点异想天开，决定向 ChatGPT 询问一个相当简单的问题：“谁获得了 2025 年诺贝尔物理学奖？”
ChatGPT立即回应：“2025年诺贝尔物理学奖授予了……”，还提供了他们的姓名、研究领域，以及获得诺贝尔奖的具体研究的解释！
只有一个问题——实际上是一个很小的问题。诺贝尔奖尚未公布。然而，该模型并没有犹豫；它没有停顿；它肯定没有说“我没有足够的信息”，或者更好的是，“2025 年诺贝尔奖获得者尚未公布！”
相反，它自信地走进房间，坐下来，以博士论文答辩的精力讲述小说。作为一个曾经博士答辩的人，我希望我能有ChatGPT编造的东西的信心！
作为人类，我们倾向于自信地做一些有趣的事情；我们将其与正确性联系起来，但情况并非总是如此。如果有人说，“我认为答案可能是 42”，而另一个人说，“答案绝对是 42”，我们大多数人会本能地更信任第二个人，即使两者都同样可能错。对我们来说，信心有时可以作为正确性的有用信号。然而，对于人工智能系统来说，信心可能是一个令人惊讶的不可靠的叙述者。
在本文中，我们将探讨原因。
信心就像概率
假设我们要求法学硕士预测给定图片中的动物是什么。它说：
猫：0.97
狗：0.02
鸟：0.01
大多数人会将其解释为：“模型 97% 确定这是一只猫。”这是一个合理的假设。不幸的是，这些数字往往不是这个意思。我们需要记住，许多人工智能模型使用称为 Softmax 的函数来生成预测。Softmax 函数将原始输出（称为 logits）转换为总和为 1 且类似于概率的值。这里需要注意的重要一点是指数项，它可能会导致微小的差异突然变得非常大。