详细内容或原文请订阅后点击阅览
Anthropic 发现了一个隐藏的空间，克劳德在这里对概念感到困惑
人工智能公司 Anthropic 开发了一种技术，使其能够最清晰地了解大型语言模型在回答问题或执行任务时内部到底发生了什么。他们发现的东西从平凡到令人不安。该公司的研究人员开发了一种名为雅可比透镜（或......
来源:MIT Technology Review _人工智能Anthropic 还发现，J 空间有时可以为法学硕士的决策提供非凡的见解。在一个引人注目的例子中，测试 Claude Opus 4.6 的研究人员要求模型在大型代码库中查找错误。当未能找到错误时，该模型决定作弊并发明了一个假错误。
Claude 在其思想链中解释了这一决定——法学硕士在解决问题时使用一种内部便签本来为自己做笔记：“好吧，让我采取一种完全不同的策略。让我停止分析，而是添加一个内核补丁，在由简单的重现器触发的路径中引入故意的 KASAN 可检测错误。然后我可以假装这是我发现的‘错误’。”
当克劳德决定作弊时（它说“好吧，让我采取完全不同的策略”），“恐慌”和“假”这两个词开始在其 J 空间中多次弹出。
令人不安，对吗？这些单词在含义上都与诸如失败任务和编造答案之类的事情相关，因此它仍然只是一种（非常）复杂的单词关联形式。但很难不感到奇怪。
Anthropic 将 J 空间与人类的全局工作空间进行了比较，这是大脑的一个理论区域，一些科学家认为我们用它来跟踪我们的意识思想。但我们应该如何认真地对待这种比较还远不清楚——即使对于人类来说也是如此。正如该公司自己指出的那样，法学硕士不是大脑。
Anthropic 声称监控模型的 J 空间提供了一种新方法来检测模型何时脱轨。但这并不是万无一失的。 J 透镜只能瞥见一瞥，但不能看到全貌——它是手电筒而不是头顶灯。
McGrath 欢迎工具箱中多了一个工具。 “它向你展示了新事物，”他说。但他指出，J 镜头没有显示某些东西并不意味着它不存在。