摘要 — 卫星极易受到太空中敌对故障或高能辐射的影响,这可能导致机载计算机出现故障。过去几十年来,人们探索了各种辐射和容错方法,例如纠错码 (ECC) 和基于冗余的方法,以缓解软件和硬件上的临时软错误。然而,传统的 ECC 方法无法处理硬件组件中的硬错误或永久性故障。这项工作引入了一种基于检测和响应的对策来处理部分损坏的处理器芯片。它可以从永久性故障中恢复处理器芯片,并利用芯片上可用的未损坏资源实现连续运行。我们在目标处理器的芯片上加入了基于数字兼容延迟的传感器,以便在发生故障之前可靠地检测到芯片物理结构上的传入辐射或故障尝试。在检测到处理器算术逻辑单元 (ALU) 的一个或多个组件出现故障后,我们的对策采用自适应软件重新编译来重新合成受影响的指令,并用仍在运行的组件的指令替换这些指令,以完成任务。此外,如果故障范围更广,并妨碍了整个处理器的正常运行,我们的方法将部署自适应硬件部分重新配置来替换故障组件并将其重新路由到芯片的未损坏位置。为了验证我们的说法,我们在 28 nm FPGA 上实现的 RISC-V 处理器上部署了高能近红外 (NIR) 激光束,通过部分损坏 FPGA 结构来模拟辐射甚至硬错误。我们证明我们的传感器可以自信地检测到辐射并触发处理器测试和故障恢复机制。最后,我们讨论了我们的对策带来的开销。
执行摘要 本报告是“准备”系列研究的一部分,1 该系列研究探讨了从新兴技术到极端天气和气候的影响,以及国土安全部 (DHS) 科学技术局 (S&T) 可以寻求的机会来支持该部门的任务。本分析的重点是对抗性人工智能 (AAI) 带来的风险——这种威胁可能会破坏我们对来自数字内容的信息的信任,但这种威胁可能以与传统网络安全威胁截然不同的方式出现,可能需要独特的技能才能理解和应对。本报告反映了国土安全部的总体科学和技术任务与国土安全部部分部门之间就 AAI 造成的当前风险状况进行的讨论;国家实验室和学术界就减轻这些攻击的潜在能力进行的讨论;但更广泛地说,它作为如何制定应对当前和未来 AAI 威胁的战略的参考。它以 2023 年 6 月举行的 S&T 国际研讨会“对抗性 AI 威胁的风险和缓解策略”为基础。总的来说,这项研究的贡献者包括国内外专家和政策制定者,他们认识到人工智能 (AI) 技术对国土安全的前景和好处很难被高估。它显然有潜力让我们的边境和入境口岸更加安全,最大限度地减少国土安全官员的认知负担,并帮助自动化固有增强国土安全服务、行动和人员的安全性、生产力和效率的流程。然而,人工智能的变革力量带来了新的挑战和新兴风险,即 AAI 或 AAI 攻击。在可能发生的各种形式的 AAI 攻击中(第 2 节中描述),AAI 专家认为逃避攻击和生成性欺骗性 AI 是近期对 DHS 任务的最大威胁。这些 AAI 类型结合起来尤其强大,使用生成性欺骗性 AI 创建的内容来逃避基于模型的推理过程。但是,由于 DHS 的 AI 技术仍处于早期开发阶段,其他 AAI 类型和形式的攻击将成为更大的问题,因为这些 AI 系统也容易受到各种其他形式的利用和滥用。这应该包括 AI“能力”的结合(例如,负责任、道德等)另一个得到 AAI 专家广泛支持的概念是,需要在系统生命周期的早期和整个过程中纳入 AAI 风险的分析和缓解,尽可能从最左边开始,以通过设计促进安全性。在我们的需求流程、AI 安全评估和 AI 标准开发中,在我们的系统工程流程中,以及需要开发全面的测试和评估工具、方法和程序来了解 AAI 风险并减轻系统和任务级别的后续威胁。这需要在测量和评估潜在漏洞程度的艺术和科学方面取得进步,探索使 AI 更加强大的方法。重要的是,我们如何应对 AAI 对国土的新兴影响将需要一个尚不存在的响应生态系统。我们如何努力支持联邦、州、地方、部落和领土执法部门和急救人员应对日益多样化的 AAI 可能性,将需要与这些社区进行新的讨论,以帮助制定优先事项。类似事件响应团队的构建可能很有价值,与 US-CERT 2 类似,但适用于完全不同的情况。与我们的盟友建立广泛的伙伴关系也将有助于在对抗 AAI 方面取得进展,不仅从了解影响,而且从制定标准甚至测试和评估方面。
逐渐的域适应性(GDA),其中为学习者提供了辅助中间域,在许多情况下已经在理论上和经验上研究了。尽管在关键安全方案中起着至关重要的作用,但GDA模型的对抗性鲁棒性仍然没有探索。在本文中,我们采用了有效的渐进自我训练方法,并用副本自我训练(AST)替换香草自我训练。AST首先预测未标记的数据上的标签,然后对手在伪标记的分布上训练模型。有趣的是,我们发现逐渐的AST不仅提高了对抗性的准确性,而且可以提高目标域的清洁准确性。我们揭示这是因为当伪标签包含一部分不正确标签时,对抗性训练(AT)的性能要比标准训练更好。因此,我们首先介绍多类分类设置中逐渐AST的概括误差界限。然后,我们使用子集总和问题的最佳值在真实分布和伪标记分布上的对抗误差上桥接标准误差。结果表明,在具有不正确的伪标签的数据上,可能会获得比标准培训更紧密的结合。我们进一步提出了有条件的高斯分布的一个例子,以提供更多的见解,说明为什么逐渐的AST可以提高GDA的清洁精度。
图是复杂结构的典型非欧几里得数据。近年来,Riemannian图表的学习已成为欧几里得学习的令人兴奋的替代方法。,里曼尼亚方法仍处于早期阶段:无论结构复杂性如何,大多数方法都会出现单个曲率(半径),由于指数/对数映射而导致数值不稳定,并且缺乏捕获基调规律性的能力。鉴于上述问题,我们提出了主题感知的Riemannian图表的问题,寻求数值稳定的编码器,以在带有无标签的多样化曲面中限制基序的规律性。为此,我们提供了一种具有生成对比度学习(Motifrgc)的新型主题Riemannian模型,该模型以一种自我监督的方式在Riemannian歧管中进行了Minmax游戏。首先,我们提出了一种新型的Riemannian GCN(D-GCN),在该GCN(D-GCN)中,我们用di-Versifed因子构建了由产品层构建多种狂热的歧管,并用稳定的内核层代替了指数/对数映射。第二,我们引入了一种主题感知的riemannian生成对比学习,以捕获构造的歧管中的主题规律性,并在没有外部标签的情况下学习主题感知的节点表示。经验结果表明了Mofrgc的优越性。
摘要:本文旨在为对抗性的防御研究差距做出贡献,这是广告讽刺机器学习(ML)攻击和防御的最新技术。更具体地,它有助于对对抗性示例攻击的人工智能(AI) / ML模型的鲁棒性进行度量测量,目前,这仍然是网络安全域中的一个空旷问题,并且在更大程度上是基于量子计算的AI / ML应用程序的更大程度的问题。我们提出了一种新的对抗性鲁棒性测量方法,该方法从量子ML ML模型实验的性能结果中测量统计特性(例如精度和t检验结果的平均值)。我们认为,我们提出的方法适合实现量子安全世界的实际使用,因为在当前嘈杂的中间尺度量子设备(NISQ)时代,量子噪声对于建模是复杂且具有挑战性的,因此使测量任务或基准测试变得复杂。我们的研究的第二个贡献是用于僵尸网络域生成算法(DGA)检测的新型硬化杂交量子量化深度学习(DL)模型,它采用了一种模型硬化的广告范围训练技术来减轻新型未知DGA对手,因为新的CyberAttarake从网络攻击中进行了新的CyberAttack,因此可以预期的是遇到网络武器竞赛。我们的分析表明,混合量子DL模型对对抗性示例攻击的脆弱性高达19%的平均准确性下降。我们还发现,硬化模型的优越性获得的平均准确性高达5.9%。此外,我们发现杂交量子型DL方法使抑制量子噪声对分类器性能的负面影响的好处。我们演示了如何应用我们提出的测量方法评估我们的新型混合量子DL模型,并强调了我们的模型与对抗性示例攻击的对抗性鲁棒性,这是我们研究对跨量子对抗机器学习的实际意义的证据。
随着视觉变换器 (ViT) 的巨大成就,基于变换器的方法已成为解决各种计算机视觉任务的新范式。然而,最近的研究表明,与卷积神经网络 (CNN) 类似,ViT 仍然容易受到对抗性攻击。为了探索不同结构模型的共同缺陷,研究人员开始分析跨结构对抗性迁移能力,而这方面仍未得到充分研究。因此,在本文中,我们专注于 ViT 攻击,以提高基于变换器和基于卷积的模型之间的跨结构迁移能力。先前的研究未能彻底调查 ViT 模型内部组件对对抗性迁移能力的影响,导致性能较差。为了克服这个缺点,我们开展了一项激励研究,通过线性缩小 ViT 模型内部组件的梯度来分析它们对对抗性迁移能力的影响。基于这项激励研究,我们发现跳跃连接的梯度对迁移能力的影响最大,并相信来自更深块的反向传播梯度可以增强迁移能力。因此,我们提出了虚拟密集连接方法(VDC)。具体来说,在不改变前向传播的情况下,我们首先重构原始网络以添加虚拟密集连接。然后,在生成对抗样本时,我们通过虚拟密集连接反向传播更深层注意力图和多层感知器(MLP)块的梯度。大量实验证实了我们提出的方法优于最先进的基线方法,ViT模型之间的可迁移性提高了8.2%,从ViT到CNN的跨结构可迁移性提高了7.2%。
对抗性机器学习 (ML) 的最新研究工作已经调查了问题空间攻击,重点关注在与图像不同、没有明确的特征空间逆映射的领域(例如软件)中生成真实的规避对象。然而,问题空间攻击的设计、比较和现实影响仍未得到充分探索。本文做出了三个主要贡献。首先,我们提出了问题空间中对抗性 ML 规避攻击的一般形式化,其中包括对可用转换、保留语义、缺失伪影和合理性的全面约束集的定义。我们阐明了特征空间和问题空间之间的关系,并引入了副作用特征的概念作为逆特征映射问题的副产品。这使我们能够定义并证明问题空间攻击存在的必要和充分条件。其次,基于我们的一般形式化,我们提出了一种针对 Android 恶意软件的新型问题空间攻击,该攻击克服了过去在语义和伪影方面的限制。我们已经在包含 2016 年和 2018 年的 15 万个 Android 应用程序的数据集上测试了我们的方法,结果表明逃避最先进的恶意软件分类器及其强化版本的实际可行性。第三,我们探索对抗性训练作为一种可能方法来增强对抗性样本的鲁棒性的有效性,评估其在不同场景下对所考虑的机器学习模型的有效性。我们的结果表明,“对抗性恶意软件即服务”是一种现实威胁,因为我们会自动大规模生成数千个真实且不显眼的对抗性应用程序,平均只需几分钟即可生成一个对抗性实例。
在这项研究中,我们评估了自主驾驶(AD)系统中增强学习的鲁棒性(RL),特别是反对对抗攻击的稳健性。我们采用了Karavolos等人提出的基于Q学习的AD模型。[1]的简单性,是我们分析的基础。此选择使我们能够在简单的Q学习方法和更复杂的RL系统之间进行明显的比较。我们设计了两个威胁模型,以模拟对基于RL的广告系统的对抗性攻击。第一个模型涉及在RL模型的细调中注入未发现的恶意代码,使其容易受到对抗性扰动的影响,这可能会导致在特定的触发条件下碰撞。第二个威胁模型旨在通过直接改变RL模型在特定触发条件下的行动决策来引起碰撞,这代表了一种更隐秘的方法。基于这些威胁模型,我们对两种主要情况的实证研究提出:操纵传感器输入和直接对动作的扰动。研究结果表明,尽管基于RL的AD系统表现出针对传感器输入操纵的弹性,但在受到直接动作扰动时它们会表现出脆弱性。主要的和宽容的场景涉及更改传感器读数,例如在偏心转弯期间,这可能会误导系统并可能导致事故。这对于小误差很大的操作至关重要。第二种情况直接扰动动作,更多地是对基于RL的AD系统脆弱性的理论研究,而不是实用的现实世界威胁。
摘要 — 单独增强单个深度学习模型的鲁棒性只能提供有限的安全保障,尤其是在面对对抗性示例时。在本文中,我们提出了 DeSVig,这是一个去中心化的 Swift Vigilance 框架,用于识别工业人工智能系统 (IAIS) 中的对抗性攻击,使 IAIS 能够在几秒钟内纠正错误。DeSVig 高度去中心化,提高了识别异常输入的有效性。我们尝试使用特殊指定的移动边缘计算和生成对抗网络 (GAN) 来克服由行业动态引起的超低延迟挑战。我们工作最重要的优势是它可以显着降低被对抗性示例欺骗的失败风险,这对于安全优先和延迟敏感的环境至关重要。在我们的实验中,工业电子元件的对抗样本由几种经典的攻击模型生成。实验结果表明,DeSVig 比一些最先进的防御方法更强大、更高效、更具可扩展性。
工业互联网(IIOT)是传感器,网络设备和设备的协作,可从工业运营中收集数据。IIOT系统由于相互连接和计算能力有限而具有许多安全漏洞。Ma-Chine学习的入侵检测系统(IDS)是一种可能的安全方法,它可以不断监视网络数据并以自动化方式检测网络攻击。超维(HD)计算是一种受脑启发的ML方法,在极其稳健,快速和能效的同时非常准确。基于这些特征,HD可以是IIOT系统的基于ML的IDS解决方案。但是,其预测性能受到输入数据中的小扰动的影响。为了充分评估HD的脆弱性,我们提出了一种有效的面向HD的广泛攻击设计。我们首先选择最多样化的攻击集以最大程度地减少开销,并消除对抗性的冗余。然后,我们执行实时攻击选择,发现最有效的攻击。我们对现实的IIOT入侵数据集的实验显示了我们攻击设计的有效性。与最有效的单次攻击相比,我们的设计策略可以提高攻击成功率高达36%,而𝐹1得分最多可以提高61%。