尚未证明卷积神经网络在合理的计算和性能成本下对对抗性扰动非常强大。灵长类动物的视觉腹流似乎对视觉刺激中的小扰动是可靠的,但是引起这种强大感知的基本机制尚不清楚。在这项工作中,我们研究了两个生物学上合理的机制在对抗鲁棒性中的作用。我们证明,灵长类动物视网膜进行的非均匀采样以及在每个偏心率下具有一系列接受型尺寸的多个接受场的存在,可以改善神经网络对小型对抗性扰动的稳健性。我们验证了这两种机制不会遭受梯度混淆,并通过消融研究研究了它们对对抗性鲁棒性的贡献。
摘要随着我们越来越多地将人工智能整合到我们的日常任务中,至关重要的是要确保这些系统可靠且可靠地抵抗对抗性攻击。在本文中,我们介绍了Clef Checkthat任务6的参与!2024实验室。在我们的工作中,我们探索了几种方法,可以将其分为两类。第一组专注于使用遗传算法来检测单词并通过多种方法(例如添加/删除单词和使用同义)进行更改。在第二组方法中,我们使用大型语言模型来产生对抗性攻击。基于我们的综合实验,我们选择了基于遗传算法的模型,该模型利用分裂单词和同质同源物作为文本操纵方法的组合,作为我们的主要模型。我们根据Bodega度量和手动评估排名第三。
1. 规避:修改输入以影响模型的攻击,例如对图像进行修改以影响分类。此技术可用于规避模型在下游任务中正确分类情况。2. 模型中毒:对手可以训练性能良好的机器学习模型,但包含后门,当输入包含对手定义的触发器的输入时,会产生推理错误。可在推理时利用此后门模型进行规避攻击。3. 训练数据:修改训练数据的攻击会添加另一个后门,例如,训练数据中不可察觉的模式会创建可以控制模型输出的后门。4. 提取:窃取专有模型的攻击,例如,攻击可以定期对模型发起查询,以提取有价值的信息来揭示其属性。5. 推理:获取有关私人数据的信息的攻击,例如,攻击。
除了民用应用外,人工智能在安全领域也具有巨大潜力,因为该领域的很大一部分活动都依赖于基于正确信息做出的决策(Swillens,2022 年)。因此,人工智能系统是国防部门应用的一个相关选择。例如,人工智能目前已经在信息收集以及驾驶无人机等自动驾驶和半自动驾驶车辆方面发挥着重要作用(Xue、Yuan、Wu、Zhang & Liu,2020 年;Araya & King,2022 年)。然而,在大规模部署这些人工智能系统之前,必须正确分析它们抵御外部威胁的能力。TNO 通过研究人工智能系统稳健性的最新进展做出了贡献。本文总结了该研究的结论。
IST-129 研究任务组 (RTG) 的工作由得到各自组织支持的研究人员完成。代表 IST 小组,我们谨向以下组织对主要研究人员的支持表示感谢。IST-129 研究任务组 (RTG) 由以下人员组成:Dennis McCallam 博士(主席)、美国海军学院和乔治梅森大学网络研究员;Cdr。(英语)Bernt Akesson 博士,芬兰国防研究局;David Aspinall 教授,英国爱丁堡大学;Tracy Braun 博士,美国陆军研究实验室,美国:Roman Faganel,理学硕士,斯洛文尼亚国防部,斯洛文尼亚;Heiko Guenther,德国弗劳恩霍夫 FKIE;Matthew Kellet 博士,加拿大国防研发中心,加拿大; Joseph LoPiccolo,美国海军研究生院; Peeter Lorents 教授,爱沙尼亚商学院; Wim Mees 博士,比利时皇家军事学院;上尉(英语),Juha-Pekka Nikkarila 博士,芬兰国防研究局,芬兰; Teodor Sommestad 博士,瑞典国防研究局 FOI,瑞典;以及来自 Seetru Ltd. 和英国牛津大学的 Margaret Varga 博士。
在没有侧面信息的情况下,让我们首先引入了通常的猜测问题的对抗性扩展[1-10]。一方可以随意选择一个概率分布P,用于随机变量M,而不是字母M,并将她的选择传达给另一方(在先前考虑的,非对抗的情况下,P被游戏规则所构成)。在游戏的每一轮中,爱丽丝根据分布p随机选择一个值m,而鲍勃(Bob)对随机变量m的值进行了询问,一次是一个随机变量的值,直到他的猜测正确为止。例如,让我们考虑情况m = {a,b,c}。在这种情况下,鲍勃的第一个查询可能是b。如果爱丽丝回答负面,那么他的下一个查询可能是一个。假设这次爱丽丝在官能上回答,这一轮已经结束。鲍勃选择了查询的顺序,以最大程度地减少所产生的成本,提前双方已知的成本功能,仅取决于平均查询数量;爱丽丝选择先前的概率分布p来最大化这种成本。Alice和Bob的最佳策略都是显而易见的:对于Alice,它包括选择P作为M上方的均匀分布,而对于BOB,它包括以其先前概率的非进攻顺序查询M的值。
本文档包含攻击分类并定义了讨论人工智能威胁时使用的关键术语。分类法和技术解释列表将这些威胁置于特定背景下,以提供易于理解和适用的层次结构,以及可供非金融部门实体使用的金融服务业相关文件。该分类法结合了现有文献和公共分类法,以与公共和已采用的替代方案保持一致 - 包括 NIST 对抗机器学习:攻击和缓解的分类和术语 1 - 以确保文献、报告和讨论的一致性,并为该主题的进一步工作奠定基础。但是,FS-ISAC 人工智能风险工作组的框架旨在全面涵盖金融部门实体面临的人工智能威胁,同时考虑目前发布的替代方案未涉及的其他风险。
在过去的二十年里,生物技术的世界已经从模拟走向数字,并与人工智能 (AI) 融合,成为创新的催化剂。人工智能、遗传学家和生物工程师之间的新合作催生了功能基因组学领域,从而更精确地理解和优化了基因组生物学中的功能过程。深度学习算法可以帮助计算机分析和测试遗传功能,并有助于预测基因突变对个体整体基因组的影响。此类算法改进了与人类和病原体相关的基因组数据集中基因型和表型之间组合关系的分析。其他深度学习模型旨在揭示基因组生物学的重要特征,从模拟 RNA 处理事件到模拟控制基因表达的遗传调控代码。
摘要 — 在本文中,我们提出了一个正式的理论框架,用于评估和分析针对通用人工智能 (AI) 系统的两类恶意行为。我们的结果适用于从输入空间映射到决策空间的通用多类分类器,包括深度学习应用中使用的人工神经网络。考虑两类攻击。第一类涉及对抗性示例,涉及引入导致错误分类的输入数据的小扰动。第二类是首次引入的,称为隐形攻击,涉及对 AI 系统本身的小扰动。在这里,受扰动的系统会在特定的小数据集(甚至可能是单个输入)上产生攻击者想要的任何输出,但在验证集(攻击者不知道)上表现正常。我们表明,在两种情况下,即在基于对抗性示例的攻击和隐形攻击的情况下,人工智能决策空间的维数是人工智能易受攻击的主要原因。对于基于对抗性示例的攻击,第二个关键参数是数据概率分布中不存在局部集中,这一属性称为“弥散绝对连续性”。根据我们的研究结果,对抗性示例的鲁棒性要求 (a) 人工智能特征空间中的数据分布具有集中的概率密度函数,或 (b) 人工智能决策变量的维数足够小。我们还展示了如何构建对高维人工智能系统的隐形攻击,除非验证集呈指数级增长,否则很难发现这些攻击。索引术语 — 对抗性示例、对抗性攻击、随机分离定理、人工智能、机器学习
摘要。随着计算、传感和车辆电子技术的进步,自动驾驶汽车正在成为现实。对于自动驾驶,雷达、激光雷达和视觉传感器等环境感知传感器作为车辆的眼睛发挥着核心作用;因此,它们的可靠性不容妥协。在本研究中,我们提出了一种通过中继攻击进行欺骗,它不仅可以在激光雷达输出中引起错觉,还可以使错觉看起来比欺骗设备的位置更近。在最近的一项研究中,前一种攻击被证明是有效的,但后一种攻击从未被证明过。此外,我们提出了一种针对激光雷达的新型饱和攻击,它可以完全使激光雷达无法感知某个方向。这两种方法的有效性都已通过 Velodyne 的 VLP-16 实验验证。