1教育部图像处理和智能控制的主要实验室,中国武汉瓦济港科学技术大学的人工智能与自动化学院。2 Brainnetome中心和国家科学院自动化研究所的模式识别实验室,中国北京。3 Swartz计算神经科学中心,加利福尼亚州圣地亚哥分校(UCSD),美国加利福尼亚州拉霍亚,美国加利福尼亚大学。4美国加利福尼亚州拉霍亚州UCSD的医学工程学院高级神经工程中心。5人工智能中心,澳大利亚悉尼技术大学工程和信息技术学院。6 Zhaw Datalab,Zéurich应用科学大学,温特瑟8401,瑞士。†这些作者为这项工作做出了同样的贡献。∗电子邮件:drwu@hust.edu.cn
摘要 — 机器学习 (ML) 在过去十年中取得了巨大进步,并被应用于各种关键的现实应用。然而,最近的研究表明,ML 模型容易受到多种安全和隐私攻击。特别是,针对 ML 模型的后门攻击最近引起了人们的广泛关注。成功的后门攻击会造成严重后果,例如允许对手绕过关键的身份验证系统。当前的后门技术依赖于在 ML 模型输入上添加静态触发器(具有固定模式和位置),而这些触发器很容易被当前的后门检测机制检测到。在本文中,我们提出了第一类针对深度神经网络 (DNN) 的动态后门技术,即随机后门、后门生成网络 (BaN) 和条件后门生成网络 (c-BaN)。我们的技术生成的触发器可以具有随机模式和位置,从而降低当前后门检测机制的有效性。特别是,基于新型生成网络的 BaN 和 c-BaN 是前两种通过算法生成触发器的方案。此外,c-BaN 是第一种条件后门技术,给定目标标签,它可以生成特定于目标的触发器。BaN 和 c-BaN 本质上都是一个通用框架,为对手提供了进一步定制后门攻击的灵活性。我们在三个基准数据集上对我们的技术进行了广泛的评估:MNIST、CelebA 和 CIFAR-10。我们的技术在后门数据上实现了近乎完美的攻击性能,而效用损失可以忽略不计。我们进一步表明,我们的技术可以绕过当前最先进的后门攻击防御机制,包括 ABS、Februus、MNTD、Neural Cleanse 和 STRIP。
后门攻击将中毒的样本注入训练数据,从而导致模型部署期间中毒输入的分类错误。防御此类攻击是具有挑战性的,尤其是对于仅允许查询访问的现实世界黑框模型。在本文中,我们通过零照片图像纯化(ZIP)提出了一个针对后门攻击的新型防御框架。我们的框架可以应用于中毒的模型,而无需有关模型或任何清洁/有毒样品的任何先验知识的内部信息。我们的防御框架涉及两个步骤。首先,我们在中毒图像上应用线性转换(例如模糊)以破坏后门图案。然后,我们使用预训练的扩散模型来恢复转换删除的缺失语义信息。特别是,我们通过使用转换后的图像来指导高保真纯化的图像的生成,该图像在零拍设置中起作用。我们在具有不同类型的攻击的多个数据集上评估了我们的ZIP框架。实验结果表明,与最新的后门防御基线相比,我们的拉链框架的优势。我们认为,我们的结果将为黑盒模型的未来防御方法提供宝贵的见解。我们的代码可在https://github.com/sycny/zip上找到。
大型语言模型(LLMS)弥合了人类语言理解与复杂问题解决问题之间的差距,在几个NLP任务上实现了最先进的性能,尤其是在几次射击和零照片的设置中。尽管LLMS具有明显的功效,但由于对计算资源的限制,用户必须使用开源语言模型或将整个培训过程外包给第三方平台。但是,研究表明,语言模型容易受到潜在的安全漏洞的影响,尤其是在后门攻击中。后门攻击旨在通过中毒训练样本或模型权重,将目标漏洞引入语言模型中,从而使攻击者能够通过恶意触发器来操纵模型响应。尽管对后门攻击的现有调查提供了全面的概述,但他们缺乏对专门针对LLM的后门攻击的深入检查。为了弥合这一差距并掌握该领域的最新趋势,本文通过专注于微调方法,介绍了对LLM的后门攻击的新观点。具体来说,我们将后门攻击系统地分类为三类:全参数微调,参数效率微调和没有微调1。基于大量审查的见解,我们还讨论了未来关于后门攻击的研究的关键问题,例如进一步探索不需要微调或开发更多秘密攻击算法的攻击算法。
大脑计算机接口(BCI)可以在大脑和外部设备之间进行直接通信。电子脑电图(EEG)是BCIS的常见输入信号,因为它的便利性和低成本。对基于EEG的BCIS的大多数研究都集中在EEG信号的准确解码上,同时忽略其安全性。最近的研究表明,BCIS中的机器学习模型容易受到对抗攻击的影响。本文提出了对基于EEG的BCI的基于对抗过滤的逃避和后门攻击,这非常容易实施。在不同BCI范式的三个数据集上进行了实验,证明了我们提出的攻击方法的效果。据我们所知,这是对基于脑电图的BCI的对抗过滤的第一项研究,提出了新的安全问题,并呼吁更多地关注BCIS的安全性。
脑机接口 (BCI) 可以实现大脑与外部设备之间的直接通信。脑电图 (EEG) 因其便利性和低成本而成为 BCI 的常见输入信号。大多数对基于 EEG 的 BCI 的研究都集中在 EEG 信号的准确解码上,而忽略了它们的安全性。最近的研究表明,BCI 中的机器学习模型容易受到对抗性攻击。本文提出了基于对抗性过滤的基于 EEG 的 BCI 的逃避和后门攻击,这些攻击非常容易实现。在来自不同 BCI 范式的三个数据集上的实验证明了我们提出的攻击方法的有效性。据我们所知,这是第一项关于基于 EEG 的 BCI 对抗性过滤的研究,这引发了新的安全问题并呼吁更多关注 BCI 的安全性。
攻击者利用 PaperCut MF/NG 软件中的两个漏洞(CVE-2023-27350 和 CVE-2023-27351)来安装 Atera 远程管理软件。除了勒索软件攻击外,还观察到几个恶意软件家族针对全球受害者。其中包括 Jaguar Tooth、BellaCiao、QBot、MgBot、Domino Backdoor 和 Carbanak Backdoor。这些恶意软件家族旨在窃取敏感数据、破坏系统并逃避安全工具的检测。
攻击者利用 PaperCut MF/NG 软件中的两个漏洞(CVE-2023-27350 和 CVE-2023-27351)来安装 Atera 远程管理软件。除了勒索软件攻击外,还观察到几个恶意软件家族针对全球受害者。其中包括 Jaguar Tooth、BellaCiao、QBot、MgBot、Domino Backdoor 和 Carbanak Backdoor。这些恶意软件家族旨在窃取敏感数据、破坏系统并逃避安全工具的检测。
摘要 - 后门对机器学习构成了严重威胁,因为它们会损害安全系统的完整性,例如自动驾驶汽车。虽然已经提出了不同的防御来解决这一威胁,但他们都依靠这样的假设:硬件加速器执行学习模型是信任的。本文挑战了这一假设,并研究了完全存在于这样的加速器中的后门攻击。在硬件之外,学习模型和软件都没有被操纵,以使当前的防御能力失败。作为硬件加速器上的内存有限,我们使用的最小后门仅通过几个模型参数偏离原始模型。为了安装后门,我们开发了一个硬件特洛伊木马,该木马会处于休眠状态,直到在现场部署后对其进行编程。可以使用最小的后门来配置特洛伊木马,并仅在处理目标模型时执行参数替换。我们通过将硬件特洛伊木马植入商用机器学习加速器中,并用最小的后门来证明攻击的可行性,以使其对交通符号识别系统进行编程。后门仅影响30个模型参数(0.069%),后门触发器覆盖了输入图像的6.25%,但是一旦输入包含后门触发器,它就可以可靠地操纵识别。我们的攻击仅将加速器的电路大小扩大了0.24%,并且不会增加运行时,几乎不可能进行检测。鉴于分布式硬件制造过程,我们的工作指出了机器学习中的新威胁,该威胁目前避免了安全机制。索引术语 - 硬件木马,机器学习后门。
• 后门 - 后门是一种典型的绕过正常身份验证来访问系统或应用程序的隐蔽方法。 • SolarWinds Orion - 一种网络和应用程序基础设施监控工具,用于识别、警告和报告设备、应用程序和网络性能问题。 • 供应链攻击 - 威胁行为者将恶意代码插入合法软件的组件中,软件公司在不知情的情况下将受感染的代码分发给软件用户。