位叉

忘记和重新连接：增强基于变压器模型的弹性，以针对位叉攻击

位翼攻击（BFA）涉及操纵模型参数位以显着破坏其准确性的对手。他们通常针对最脆弱的参数，最大程度地损坏了最大的位置。虽然BFAS对深神经网络（DNN）的影响进行了充分研究，但它们对大语言模型（LLM）和视觉变形金刚（VIT）的影响尚未受到相同的关注。受到“大脑重新打开”的启发，我们探索了增强反式造物对此类攻击的弹性。这种潜力在于基于变压器模型的独特架构，特别是它们的线性层。我们的新颖方法称为“忘记”（Loss and Rewire）（FAR），从策略上使用重新布线来将线性层用于混淆神经元的连接。通过将任务从关键神经元重新分布，我们在保留其核心功能的同时降低了模型对特定参数的敏感性。此策略阻碍了对手的意见，可以使用基于梯度的算法来识别和靶向至关重要的参数。我们的方法隐藏了关键参数，并增强了对随机攻击的鲁棒性。对广泛使用的数据集和变压器框架进行了全面的评估表明，远处的机制显着使BFA的成功率降低了1.4至4.2倍，而精度损失最小（小于2％）。