摘要 — 网络安全供应商不断将 AI(人工智能)应用于其解决方案,许多网络安全领域都可以从 AI 技术中受益。然而,黑盒 AI 技术在其操作员的理解和采用方面存在一些困难,因为他们的决策并不总是人类可以理解的(例如,深度神经网络通常就是这种情况)。由于 XAI(可解释人工智能)旨在让用户和开发人员更易于解释 AI 算法的操作,因此可以使用 XAI 来解决此问题。通过系统的文献综述,本文旨在调查 XAI 应用于网络安全的当前研究情况,旨在发现哪些 XAI 技术已经应用于网络安全,以及哪些网络安全领域已经从该技术中受益。索引术语 —XAI、可解释人工智能、可解释人工智能、网络安全、网络安全、检测和响应、入侵检测、入侵预防、网络风险、恶意软件
我们研究了统一的财产测试,其中量子算法可以查询对黑盒统一的查询访问,并且必须决定是否满足某些财产。除了包含标准量子查询复杂性模型(单位编码二进制字符串)作为特殊情况外,此模型还包含没有经典类似物的“固有的量子”问题。表征这些问题的查询复杂性需要新的算法技术和下限方法。我们的主要贡献是用于统一财产测试问题的广义多项式方法。通过利用与不变理论的连接,我们将此方法应用于诸如确定单位的复发时间,近似标记子空间的尺寸以及近似标记状态的纠缠熵等问题。我们还提出了一种基于统一的属性测试方法,用于QMA和QMA之间的甲骨文分离(2),这是量子复杂性理论中长期存在的问题。
我们介绍了一种通用方法来准备振幅由某个已知函数给出的量子态。与现有方法不同,我们的方法不需要手工制作的可逆算术电路或量子内存负载来编码函数值。相反,我们使用模板量子特征值变换电路将低成本的正弦函数块编码转换为所需函数。我们的方法仅使用 4 个辅助量子比特(如果近似多项式具有确定奇偶性,则为 3 个),与最先进的方法相比,量子比特数减少了一个数量级,同时如果函数可以很好地用多项式或傅里叶近似表示,则使用类似数量的 Toffili 门。与黑盒方法一样,我们方法的复杂性取决于函数的“L2 范数填充分数”。我们证明了我们的方法在准备量子算法中常用的状态(例如高斯和凯泽窗口状态)方面的效率。
摘要 非技术损失 (NTL) 是许多公用事业公司试图解决的问题,通常使用黑盒监督分类算法。一般来说,这种方法取得了良好的效果。然而,在实践中,NTL 检测面临着技术、经济和透明度方面的挑战,这些挑战无法轻易解决,并且会损害预测的质量和公平性。在这项工作中,我们将这些问题置于为一家国际公用事业公司建立的 NTL 检测系统中。我们解释了如何通过从分类转向回归系统并引入解释技术来提高其准确性和理解力,从而缓解这些问题。正如我们在本研究中所展示的,回归方法可以成为缓解这些技术问题的一个很好的选择,并且可以进行调整以捕捉最引人注目的 NTL 案例。此外,可解释的人工智能(通过 Shapley 值)使我们能够在基准测试之外验证回归方法在这种背景下的正确性,并大大提高我们系统的透明度。
本摘要概述了机器学习模型在网络安全领域的有效性,并强调了可解释的AI在授权安全分析师中的重要性。随着网络威胁的复杂性和复杂性的日益增长,组织正在转向高级技术,例如机器学习,以增强其防御机制。但是,传统机器学习算法的黑盒性质阻碍了其在安全操作中的采用。本文通过为机器学习模型的决策过程提供可解释的见解,探讨了可解释的AI及其潜力解决此限制的概念。通过提高透明度和问责制,可以解释的AI为安全分析师提供必要的工具,以更好地理解,验证和信任这些模型的输出。通过研究当前的研究和行业实践,这项研究强调了可解释的AI在促进人类与机器学习算法之间有效合作的重要性,最终增强了网络安全工作。
生成模型(例如大语言模型(LLMS))被广泛用作代码副本,并用于整个程序生成。但是,他们生成的程序通常在集成方面具有可疑的正确性,安全性和可靠性,因为它们可能不遵循用户要求,不正确和/或毫无意义的输出,甚至包含语义/语法错误 - 总体称为LLM幻觉。在这项工作中,我们介绍了几种类型的代码Hal-Lucination。我们已经使用LLM手动生成了此类幻觉代码。我们还提出了一种技术 - Halltrigger,以展示产生任意代码幻觉的有效方法。我们的方法利用了3个不同的LLM的动态属性到工艺提示,可以成功地触发模型幻觉,而无需访问模型体系结构或参数。受欢迎的黑盒模型的结果表明,Halltrigger确实是有效的,而普遍的LLM幻觉对软件开发产生了巨大影响。
使用高斯工艺(GP)和Matérn和径向基函数(RBF)协方差函数的贝叶斯优化通常用于优化黑盒功能。Matérn和RBF内核没有对函数域的任何假设,这可能会限制其在有限域中的适用性。为了解决限制问题,我们引入了一个非平稳β单元Hyper-Cube(BUC)内核,该内核是由Beta分布密度函数的产物诱导的,并允许在有界域上建模功能。为了提供理论见解,我们在使用BUC内核的GP上限置信度(GP-UCB)算法时提供了信息增益和累积后悔界限的分析。我们的实验表明,在不同问题中,BUC内核始终优于众所周知的Matérn和RBF内核,包括合成功能优化以及视觉和语言模型的压缩。
最近视觉变压器模型已成为多种视觉任务的重要模型。这些模型通常是不透明的,具有弱特征可解释性,使用户的预测差。虽然对解释模型决策的事后解决方案的开发产生了兴趣,但这些方法不能广泛应用于不同的变压器体系结构,因为可解释性规则必须基于数据和模型结构的异质性进行相应的变化。此外,目前没有为本质上可解释的变压器构建的方法,该方法能够解释其推理过程并提供忠实的解释。为了缩小这些关键的差距,我们提出了一种新型视觉变压器,称为“可解释的视觉变压器”(Ex-Vit),这是一种可解释的变压器模型,能够共同发现可鲁棒的可解释特征并执行预测。特定于特定的,前vit由可解释的多头注意(E-MHA)模块组成,属性引导的解释器(ATTE)模块具有自我监督的属性引导损失。E-MHA裁缝可解释的注意力权重,能够从具有噪音稳健性的模型决策中从代币中学习可解释的表示表示。与此同时,通过各种属性剖面构成了目标对象的区分属性特征,该特征构成了模型预测的忠实证据。结果,提议的前武率模型可以用各种学习的属性产生忠实而强大的解释。此外,我们为前武器架构开发了一种自我监督的属性引导损失,该体系结构既利用了属性的可行性机制和属性多样性机制来提高学习成分的质量。为了验证和评估我们的方法,我们将前vit应用于几个弱监督的语义细分(WSS)任务,因为这些任务通常依赖于准确的视觉解释来提取对象本地化图。尤其是,通过前视图获得的解释结果被认为是训练WSSS模型的伪分段标签。综合模拟结果幻想表明,我们提出的前武器模型可以达到与监督基线相当的性能,同时仅使用仅使用图像级标签的最先进的黑盒方法超过了最先进的黑盒方法的准确性和解释性。
摘要 人工智能和人类可以真正交流吗?在本文中,在介绍一些背景知识并阐述我的提议(§1-3)之后,我探索了一种回答这个问题的方法,我称之为“心理行为方法论”(§4-5)。该方法论遵循以下三个步骤:首先,阐明哪些心理能力足以进行人类交流(而不是更普遍的交流)。其次,阐明测试行为是否表现出这些能力所需的实验范式。第三,应用或调整这些范式来测试人工智能是否表现出相关行为。如果前两个步骤成功完成,并且人工智能通过测试并得到与人类相似的结果,则证明该人工智能和人类可以真正交流。这种心理行为方法的优点在于我们不需要了解黑盒算法(例如标准深度神经网络)的工作原理。这与我们不需要了解人类大脑的工作原理就可以知道人类可以真正进行交流的事实类似。这种方法也有其缺点,我将讨论其中的一些缺点(§6)。
使用人工智能实现监管手册的自动化 在本次调查中,我们建议使用推理系统将金融监管编码为机器可读和可执行的规则。我们认为,需要基于规则的白盒方法,而不是黑盒机器学习方法,因为监管机构需要可解释性,并概述了将 FCA 手册中的监管编码为机器可读语义所需的理论基础。然后,我们介绍基于 Java 专家系统 Shell (JESS) 构建的生产级监管推理系统的设计和实施,并使用它来对 FCA 手册中的部分监管(消费者信贷监管)进行编码。然后,我们与监管机构一起对系统进行实证评估,评估基于系统在处理 600 个真实世界查询时的性能和准确性,并将其与人类系统进行比较。研究结果表明,使用推理系统所提出的方法不仅可以提供更快的响应,而且还可以对可解释查询的答案提供更准确的结果。
