详细内容或原文请订阅后点击阅览
人工智能大脑内部：记忆与推理
最近的研究表明，人工智能语言模型将记忆和推理存储在完全独立的神经回路中，这表明机器以不同的方式“思考”和“记忆”。这一发现引领了创建人工智能系统的道路，该系统可以忘记敏感数据，同时保留其智能。
来源:Qudata人工智能大脑内部：记忆与推理
研究人员发现了明确的证据，表明人工智能语言模型在不同的神经通路中存储记忆和推理。这一发现可能会带来更安全、更透明的系统，这些系统可以“忘记”敏感数据，而不会失去思考能力。
人工智能语言模型在不同的神经通路中存储记忆和推理的证据大型语言模型，例如 GPT 系列的语言模型，依赖于两个核心功能：
- 记忆，使他们能够回忆起确切的事实、引用或训练数据。推理，使他们能够应用一般原则来解决新问题。
到目前为止，科学家们还不确定这两个功能是否深深纠缠在一起或共享相同的内部架构。他们决定一探究竟，结果发现分离出奇的干净。它表明，死记硬背依赖于狭窄的、专门的神经通路，而逻辑推理和解决问题则使用更广泛的、共享的组件。至关重要的是，研究人员证明他们可以通过手术切除记忆回路，同时对模型思考能力的影响最小。
在语言模型的实验中，数百万个神经权重按照一种称为曲率的属性进行排序，该属性衡量模型性能对微小变化的敏感程度。高曲率表示灵活的通用路径；低曲率标志着狭窄、特殊的。当科学家们移除低曲率组件（实质上关闭了“记忆电路”）时，该模型失去了 97% 的回忆训练数据的能力，但保留了几乎所有的推理能力。
虽然当前技术无法保证永久删除，但由于“遗忘”的数据有时可能会在重新训练后重新出现，因此这项研究代表着朝着提高人工智能透明度迈出了重要一步。