A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models
语言模型中的安全对齐通过两个机制上不同的系统进行操作：拒绝神经元（控制是否表达有害知识）和概念神经元（编码有害知识本身）。通过针对每个系统中的单个神经元，我们在跨越两个系列和 1.7B 到 70B 参数的七个模型中展示了两个方向的失败——通过抑制绕过对明确有害请求的安全性，并通过放大从无辜提示中诱导有害内容，而无需任何训练或提示工程。我们的研究结果表明安全调整......
