详细内容或原文请订阅后点击阅览
Anthropic 最新的人工智能发现展示了什么（以及没有展示什么）
这个故事最初出现在我们关于人工智能的每周通讯《算法》中。要首先在您的收件箱中收到此类故事，请在此处注册。 Anthropic 目前是世界上最有价值的人工智能公司，估值近 1 万亿美元，以发表奇怪而令人兴奋的研究而闻名。它正在研究人工智能模型是否能够感受到疼痛，例如……
来源:MIT Technology Review _人工智能Anthropic 比其他人工智能公司花费更多时间和金钱的一个利基市场称为机械可解释性，这意味着深入研究人工智能模型的复杂数学，以了解为什么它会产生一种特定的输出，而不是另一种。这是很复杂的事情；有数百万个数据点可能对任何结果都有贡献，而费力地浏览它们可能看起来更像是文字沙拉，而不是任何有用的东西。这也是有争议的。用借用心理学和神经科学的术语来描述人工智能模型，可以使它们的行为看起来比我们想象的更加复杂。
这就是为什么当 Anthropic 上周宣布它找到了一个新的窗口来了解模型在通过答案进行推理时的“内部思想”时，我不得不与一位同事交谈。高级编辑威尔·道格拉斯·天堂 (Will Douglas Heaven) 除了拥有计算机科学博士学位外，还花费了大量时间来深入研究人工智能模型如何工作。我和他讨论了我们应该从 Anthropic 的新（而且可以预见的古怪）研究中得到什么。
Anthropic 在这里到底学到了什么？
几年来，Anthropic 一直在尝试了解大型语言模型 (LLM) 的工作原理。 Anthropic 并不是唯一一家关注这一问题的公司，但我认为该公司比大多数公司都将其作为其核心使命的一部分。 Anthropic 的首席执行官达里奥·阿莫迪 (Dario Amodei) 表示，除非我们更多地了解法学硕士的运作方式，否则我们将无法完全控制法学硕士。
因此，这项新研究很大程度上就是在这种背景下进行的。它比以往任何时候都更深入地探讨了法学硕士内部的奇怪机制。 Anthropic 了解到，LLM 内部有一个空间（Anthropic 称之为 J 空间），其中充满了未出现在其输出中但似乎会影响他们解决问题的方式的单词。所有这一切都被隐藏起来，直到 Anthropic 开发出一种新技术来探测其模型克劳德，所以这是一个真正的发现。