详细内容或原文请订阅后点击阅览
单个神经元足以绕过大型语言模型中的安全对齐
语言模型中的安全对齐通过两个机制上不同的系统进行操作：拒绝神经元（控制是否表达有害知识）和概念神经元（编码有害知识本身）。通过针对每个系统中的单个神经元，我们在跨越两个系列和 1.7B 到 70B 参数的七个模型中展示了两个方向的失败——通过抑制绕过对明确有害请求的安全性，并通过放大从无辜提示中诱导有害内容，而无需任何训练或提示工程。我们的研究结果表明安全调整......
来源:Apple机器学习研究语言模型中的安全对齐通过两个机制上不同的系统进行操作：拒绝神经元（控制是否表达有害知识）和概念神经元（编码有害知识本身）。通过针对每个系统中的单个神经元，我们在跨越两个系列和 1.7B 到 70B 参数的七个模型中展示了两个方向的失败——通过抑制绕过对明确有害请求的安全性，并通过放大从无辜提示中诱导有害内容，而无需任何训练或提示工程。我们的研究结果表明，安全对齐并没有在模型权重上稳健分布，而是由单个神经元介导，每个神经元都足以控制拒绝行为——抑制任何一个已识别的拒绝神经元都会绕过不同有害请求的安全对齐。