XiaoMi-AI文件搜索系统
World File Search System后门
安全性、可靠性和后门 - 剑桥大学
00008270 00 00 00 04 41 43 41 4C-00 00 00 00 00 00 00 0E "...ACAL...." 00008280 00 00 81 3C 00 03 F1 EC-00 01 00 06 41 43 42 41 "..ü<.±..ACBA" 00008290 4E 44 00 00 00 00 00 10-00 00 81 3C 00 03 0E 6E "ND.......ü<.n" 000082A0 00 00 00 05 41 43 44 43-49 00 00 00 00 00 00 12“...ACDCI...”000082B0 00 00 81 3C 00 03 08 02-00 01 00 05 41 43 44 43“..ü<...ACDC" 000082C0 56 00 00 00 00 00 00 14-00 00 81 3C 00 03 06 4E "V......¶..ü<.N" 000082D0 00 01 00 03 41 43 49 00 -00 00 00 00 00 00 00 15“..ACI........§”000082E0 00 00 81 3C 00 03 08 02-00 01 00 03 41 43 56 00“..ü<...ACV。”000082F0 00 00 00 00 00 00 00 17-00 00 81 3C 00 03 06 4E ".........ü<.N" 00008300 00 01 00 07 41 44 44 52-45 53 53 00 00 00 00 18“..地址...." 00008310 00 00 81 3C 00 02 76 6E-00 00 00 04 41 50 45 52 "..ü<.vn...APER" 00008320 00 00 00 00 00 00 00 1A-00 00 81 3C 00 03 22 B6“.........ü<."Â" 00008330 00 00 00 06 41 52 41 4E-47 45 00 00 00 00 00 1C "...排列..." 00008340 00 00 81 3C 00 02 FC C6-00 01 00 07 41 55 58 45 "..ü<.³ã.. AUXE" 00008350 52 52 3F 00 00 00 00 1E-00 00 81 3C 00 00 2F AA "RR?......ü<../Ø" 00008360 00 01 00 05 41 5A 45 52-4F 00 00 00 00 00 00 1F“..AZERO......”00008370 00 00 81 3C 00 03 22 20-00 01 00 04 42 45 45 50“..ü<.”..BEEP" 00008380 00 00 00 00 00 00 00 20-00 00 81 3C 00 00 73 AA "....... ..ü<..sØ" 00008390 00 00 00 03 43 41 4C 00-00 00 00 00 00 00 00 21“……CAL……！”000083A0 00 00 81 3C 00 04 A8 F4-00 00 00 04 43 41 4C 3F “..ü<.¿¶...CAL？”000083B0 00 00 00 00 00 00 00 23-00 00 81 3C 00 02 00 00 ".......#..ü<..."
针对机器学习模型的动态后门攻击
摘要 — 机器学习 (ML) 在过去十年中取得了巨大进步，并被应用于各种关键的现实应用。然而，最近的研究表明，ML 模型容易受到多种安全和隐私攻击。特别是，针对 ML 模型的后门攻击最近引起了人们的广泛关注。成功的后门攻击会造成严重后果，例如允许对手绕过关键的身份验证系统。当前的后门技术依赖于在 ML 模型输入上添加静态触发器（具有固定模式和位置），而这些触发器很容易被当前的后门检测机制检测到。在本文中，我们提出了第一类针对深度神经网络 (DNN) 的动态后门技术，即随机后门、后门生成网络 (BaN) 和条件后门生成网络 (c-BaN)。我们的技术生成的触发器可以具有随机模式和位置，从而降低当前后门检测机制的有效性。特别是，基于新型生成网络的 BaN 和 c-BaN 是前两种通过算法生成触发器的方案。此外，c-BaN 是第一种条件后门技术，给定目标标签，它可以生成特定于目标的触发器。BaN 和 c-BaN 本质上都是一个通用框架，为对手提供了进一步定制后门攻击的灵活性。我们在三个基准数据集上对我们的技术进行了广泛的评估：MNIST、CelebA 和 CIFAR-10。我们的技术在后门数据上实现了近乎完美的攻击性能，而效用损失可以忽略不计。我们进一步表明，我们的技术可以绕过当前最先进的后门攻击防御机制，包括 ABS、Februus、MNTD、Neural Cleanse 和 STRIP。
黑盒后门防御通过零拍图像净化
后门攻击将中毒的样本注入训练数据，从而导致模型部署期间中毒输入的分类错误。防御此类攻击是具有挑战性的，尤其是对于仅允许查询访问的现实世界黑框模型。在本文中，我们通过零照片图像纯化（ZIP）提出了一个针对后门攻击的新型防御框架。我们的框架可以应用于中毒的模型，而无需有关模型或任何清洁/有毒样品的任何先验知识的内部信息。我们的防御框架涉及两个步骤。首先，我们在中毒图像上应用线性转换（例如模糊）以破坏后门图案。然后，我们使用预训练的扩散模型来恢复转换删除的缺失语义信息。特别是，我们通过使用转换后的图像来指导高保真纯化的图像的生成，该图像在零拍设置中起作用。我们在具有不同类型的攻击的多个数据集上评估了我们的ZIP框架。实验结果表明，与最新的后门防御基线相比，我们的拉链框架的优势。我们认为，我们的结果将为黑盒模型的未来防御方法提供宝贵的见解。我们的代码可在https://github.com/sycny/zip上找到。
以及对人工智能军事应用的后门监管......
摘要 人工智能（AI）军事应用的监管日益受到关注。本文探讨了欧盟作为一个多层次系统如何基于认知权威来监管军事人工智能。这表明，欧盟充当军事人工智能的规则制定者和规则执行者，以构建私人、企业参与者作为专家为前提。作为规则制定者，欧盟成立了全球技术小组等专家小组来为其举措提供信息，从而邀请企业参与者通过前门参与其决策过程。但欧盟也是一个规则执行者，因为它对军事人工智能的监管方法是通过企业参与者设计人工智能技术的方式通过后门形成的。这些观察结果标志着一种新兴的混合监管安全状态，这种状态基于“流动”形式的认知权威，赋予企业行为者权力，但也代表着正式政治权威和非正式专家权威的复杂组合。
在机器学习模型中种植未发现的后门
摘要鉴于培训机器学习模型所需的计算成本和技术专长，用户可以将学习任务委托给服务提供商。学习委派具有明显的好处，同时引起了人们对信任的严重关注。这项工作研究了不受信任的学习者可能滥用权力。我们展示了恶意学习者如何将无法检测到的后门种植到分类器中。在表面上，这样的后门分类器的行为正常，但实际上，学习者是一种改变任何输入分类的机制，只有轻微的扰动。重要的是，如果没有适当的“后门钥匙”，该机制就会隐藏起来，并且无法通过任何计算结合的观察者检测到。我们展示了两个用于种植无法检测到的后门的框架，并提供了无与伦比的保证。
内部邪恶：通过休眠硬件Trojans的机器学习后门
摘要 - 后门对机器学习构成了严重威胁，因为它们会损害安全系统的完整性，例如自动驾驶汽车。虽然已经提出了不同的防御来解决这一威胁，但他们都依靠这样的假设：硬件加速器执行学习模型是信任的。本文挑战了这一假设，并研究了完全存在于这样的加速器中的后门攻击。在硬件之外，学习模型和软件都没有被操纵，以使当前的防御能力失败。作为硬件加速器上的内存有限，我们使用的最小后门仅通过几个模型参数偏离原始模型。为了安装后门，我们开发了一个硬件特洛伊木马，该木马会处于休眠状态，直到在现场部署后对其进行编程。可以使用最小的后门来配置特洛伊木马，并仅在处理目标模型时执行参数替换。我们通过将硬件特洛伊木马植入商用机器学习加速器中，并用最小的后门来证明攻击的可行性，以使其对交通符号识别系统进行编程。后门仅影响30个模型参数（0.069％），后门触发器覆盖了输入图像的6.25％，但是一旦输入包含后门触发器，它就可以可靠地操纵识别。我们的攻击仅将加速器的电路大小扩大了0.24％，并且不会增加运行时，几乎不可能进行检测。鉴于分布式硬件制造过程，我们的工作指出了机器学习中的新威胁，该威胁目前避免了安全机制。索引术语 - 硬件木马，机器学习后门。
基于脑电图的脑机接口易受后门攻击
1 华中科技大学人工智能与自动化学院，图像处理与智能控制教育部重点实验室，武汉，中国。2 中国科学院自动化研究所，脑网络组中心和模式识别国家实验室，北京，中国。3 加州大学圣地亚哥分校 (UCSD) 神经计算研究所，斯沃茨计算神经科学中心，加利福尼亚州拉霍亚，美国。4 加州大学圣地亚哥分校医学工程研究所，高级神经工程中心，加利福尼亚州拉霍亚，美国。5 悉尼科技大学工程与信息技术学院，人工智能中心，澳大利亚。6 苏黎世应用技术大学 ZHAW 数据实验室，瑞士温特图尔 8401。† 这些作者对本研究的贡献相同。∗ 电子邮件：drwu@hust.edu.cn
基于EEG的大脑计算机接口很容易受到后门攻击的影响
1教育部图像处理和智能控制的主要实验室，中国武汉瓦济港科学技术大学的人工智能与自动化学院。2 Brainnetome中心和国家科学院自动化研究所的模式识别实验室，中国北京。3 Swartz计算神经科学中心，加利福尼亚州圣地亚哥分校（UCSD），美国加利福尼亚州拉霍亚，美国加利福尼亚大学。4美国加利福尼亚州拉霍亚州UCSD的医学工程学院高级神经工程中心。5人工智能中心，澳大利亚悉尼技术大学工程和信息技术学院。6 Zhaw Datalab，Zéurich应用科学大学，温特瑟8401，瑞士。†这些作者为这项工作做出了同样的贡献。∗电子邮件：drwu@hust.edu.cn
基于对抗性过滤的脑机接口逃避和后门攻击
脑机接口 (BCI) 可以实现大脑与外部设备之间的直接通信。脑电图 (EEG) 因其便利性和低成本而成为 BCI 的常见输入信号。大多数对基于 EEG 的 BCI 的研究都集中在 EEG 信号的准确解码上，而忽略了它们的安全性。最近的研究表明，BCI 中的机器学习模型容易受到对抗性攻击。本文提出了基于对抗性过滤的基于 EEG 的 BCI 的逃避和后门攻击，这些攻击非常容易实现。在来自不同 BCI 范式的三个数据集上的实验证明了我们提出的攻击方法的有效性。据我们所知，这是第一项关于基于 EEG 的 BCI 对抗性过滤的研究，这引发了新的安全问题并呼吁更多关注 BCI 的安全性。
以利亚：消除通过分布偏移注入扩散模型的后门
扩散模型（DM）已成为最先进的模型，因为它们在没有对抗性训练的情况下从噪音中产生高质量图像的能力。但是，正如最近的研究报道的那样，它们容易受到后门攻击的影响。数据输入（例如，一些高斯噪声）用扳机盖章（例如，一个白色补丁），后do的模型始终生成目标图像（例如，一张不正确的照片）。但是，从DMS中减轻后门的有效防御策略没有充满反感。为了弥合这一差距，我们提出了第一个DMS的后门检测和重新移动框架。我们在包括DDPM，NCSN和LDM在内的数百多种DM上评估了我们的框架E Li -Jah，并使用13个采样器对3个现有的后门攻击进行了评估。广泛的实验表明，我们的方法可以接近100％的检测准确性，并将后门效应降低至接近零，而无需显着牺牲模型效用。