详细内容或原文请订阅后点击阅览
“可能”对你的 AI 和你的意义不同
IceMing & Digit / 工作中的随机鹦鹉 / 获得 CC-BY 4.0 许可 作者：南加州大学 Mayank Kejriwal 当一个人说某件事是“可能”或“可能”时，人们通常对这意味着什么有一个共同的、虽然模糊的理解。但是，当像 ChatGPT 这样的人工智能聊天机器人使用相同的单词时，它就不是 [...]
来源:ΑΙhubIceMing&Digit/工作中的随机鹦鹉/CC-BY 4.0 许可
作者：Mayank Kejriwal，南加州大学
当人们说某个事件“可能”或“可能”时，人们通常对其含义有一个共同的（尽管模糊的）理解。但我和我的同事发现，当像 ChatGPT 这样的人工智能聊天机器人使用同一个词时，它并没有像我们那样评估可能性。
我们最近在《NPJ Complexity》杂志上发表了一项研究，该研究表明，虽然大型语言模型人工智能擅长对话，但它们在传达不确定性时往往无法与人类保持一致。这项研究的重点是估计概率的词语，其中包括“也许”、“可能”和“几乎确定”等术语。
通过比较人工智能模型和人类如何将这些单词映射到数字百分比，我们发现了人类和大型语言模型之间的显着差距。虽然这些模型确实倾向于在“不可能”等极端情况上与人类达成一致，但在“也许”等对冲词上却存在巨大分歧。例如，模型可能使用“可能”一词来表示 80% 的概率，而人类读者则认为它的意思接近 65%。
这可能是因为人类可以更多地根据上下文线索和个人经历来解释“可能”和“可能”等词语。相比之下，大型语言模型可能会对训练数据中这些单词的冲突用法进行平均，从而导致与人类解释的分歧。
我们的研究还发现，大型语言模型对性别语言和用于提示的特定语言很敏感。当提示从“他”变为“她”时，人工智能的概率估计往往变得更加严格，反映了其训练数据中嵌入的偏见。当提示从英语变为中文时，人工智能的概率估计经常发生变化，这可能是由于英语和汉语在人们表达和理解不确定性方面存在差异。
人工智能聊天机器人不会像你一样解释“可能”和“也许”。玛扬克·凯杰里瓦尔。