详细内容或原文请订阅后点击阅览
LLMS的普遍性是什么？如何找到通用神经元
独立训练的变压器如何形成同一神经元的帖子，llms中的普遍性是什么？如何找到通用神经元首先出现在数据科学方面。
来源:走向数据科学是普遍性？
我们的人类都以不同的方式“初始化” - 我们天生具有不同的遗传学。然后，我们在背景不同的不同家庭中长大，经历了不同的事件。但是，令人着迷的是，我们的大脑最终融合了相似的结构和功能。我们可以考虑这种现象。
通用在2020年，Olah等人。提出了有关解释人工神经网络的三个投机性主张：
Olah等。 功能是神经网络的基本单元。功能是通过重量，形成电路的连接。跨模型和任务形成了Analogous和电路。 功能是神经网络的基本单元。 特征通过重量连接，形成电路。 跨模型和任务形成的类似特征和电路。 第三个主张也许是最有趣的。它涉及普遍性，并表明，即使在独立数据集中训练的不同神经网络也可能会融合到相同的基本机制。 有一个众所周知的例子：几乎所有在图像上训练的卷积网络的第一层都学会了识别边缘和方向的Gabor过滤器。 随着大语言模型（LLM）的快速发展，研究人员提出了一个自然的问题：我们也可以观察到LLMS中的普遍性吗？如果是这样，我们如何找到通用神经元？ 我们也可以在LLM中观察到普遍性吗？ 如果是这样，我们如何找到通用神经元？ Olah等人的图像：在4种不同视觉模型中发现的曲线检测器电路 在这篇博客文章中，我们将重点关注一个简单的实验并识别通用神经元。更确切地说，我们将使用两个不同的变压器设计一个实验，以查看我们之间是否可以找到它们之间的任何通用神经元。 请参阅笔记本以获取完整的Python实现。 笔记本 变形金刚快速回顾 基本变压器块由两个关键组件组成： 哪些令牌最重要 ：- Olah等。
跨模型和任务形成的类似特征和电路。
第三个主张也许是最有趣的。它涉及普遍性，并表明，即使在独立数据集中训练的不同神经网络也可能会融合到相同的基本机制。
有一个众所周知的例子：几乎所有在图像上训练的卷积网络的第一层都学会了识别边缘和方向的Gabor过滤器。
随着大语言模型（LLM）的快速发展，研究人员提出了一个自然的问题：我们也可以观察到LLMS中的普遍性吗？如果是这样，我们如何找到通用神经元？ 我们也可以在LLM中观察到普遍性吗？Olah等人的图像：在4种不同视觉模型中发现的曲线检测器电路
在这篇博客文章中，我们将重点关注一个简单的实验并识别通用神经元。更确切地说，我们将使用两个不同的变压器设计一个实验，以查看我们之间是否可以找到它们之间的任何通用神经元。
请参阅笔记本以获取完整的Python实现。笔记本
变形金刚快速回顾
基本变压器块由两个关键组件组成： 哪些令牌最重要：