可解释人工智能 (XAI) 最近已成为一个非常活跃的领域,这主要是由于神经网络等黑箱模型的广泛发展。最新技术定义了最近的 XAI 目标,并提出了具体方法。在 XAI 和其他领域之间可以找到隐式链接,尤其是与知识和神经网络相关的领域。我们在此旨在强调这些隐式链接。我们对两个领域的研究工作进行了叙述性回顾:(i)知识领域,重点关注知识发现和表示,以及(ii)表示学习。我们讨论了这些领域与 XAI 之间的相似性和连接点。我们得出结论,为了使黑匣子更加透明,XAI 方法应该受到更多启发,并利用知识和表示学习领域的过去和最近的工作。通过本文,我们为多学科研究人员和人工智能专家以及人工智能知识渊博的用户提供了 XAI 领域的切入点。
机器学习 (ML) / 人工智能 (AI) 技术(包括神经网络 (NN) 变体)正在快速发展,从而扩展了其功能,导致高级模型在决策过程中得到更频繁的使用 [1]。随着这些模型融入组织和日常工作中,学者和从业者需要更加关注模型的开发过程和结果的解释 [2]–[4]。这一点很重要,因为重要决策越来越多地由人们无法完全理解的不同形式的算法支持或完全自动化,这被称为 AI 黑箱解释问题 [5]。如果我们不能解释算法,我们就无法反驳它们、验证它们、改进它们或从中学习 [6], [7]。从业者和学者都呼吁通过实施透明且易于理解的 ML 模型来更好地理解复杂且不透明的模型。解释 ML 模型的工作原理和结果的产生方式,可以提高人们对机器学习模型的信任度 [5]、[8]– [10]。
通过自动化复杂的数据任务,提高诊断准确性和加速医疗发现,自动化机器学习(AUTOML)在改变医疗保健方面具有巨大的潜力,但其在医疗保健中的采用却落后于其他行业。这种较慢的增长主要是由于缺乏透明度和许多汽车工具的“黑箱”性质。为了应对这些挑战,美国食品药品监督管理局(FDA)呼吁创新者通过PrecisionFDA平台探索Automl在医疗保健中的潜在应用。与Cloudleap Technologies合作,DRT策略开发了一种解决方案,以评估Automl的效果,弥合AI/ML采用中的差距,并促进ML驱动的解决方案在医疗实践和研究中的更广泛整合。FDA将DRT的解决方案识别为表现最佳的人之一。
生产建模和成本估算是当代飞机和飞机部件设计方法的主要驱动因素。然而,学术界提出的用于评估这些学科的现有方法并未在行业中得到广泛应用,因为 (a) 当前生产建模系统的黑箱行为,(b) 生产建模系统与设计过程之间缺乏联系,(c) 实施方法所需的成本和时间增加,(d) 生产信息的机密性,以及 (e) 改变工作方法的阻力。本文提出的研究提出了一种方法,旨在通过将基于知识的工程与语义网技术相结合来建模飞机生产过程,从而克服这些限制。该方法通过通用、灵活、适应性强且可重复使用的生产建模框架实现,该框架可以评估不同生产概念的影响,量化生产过程与飞机设计之间的相互作用,并开展性能和生产成本研究。
词嵌入是使用计数或预测技术构建的矢量语义表示,旨在从词语共现中捕捉含义的细微差别。自从它们被引入以来,这些表示就因缺乏可解释的维度而受到批评。词嵌入的这种特性限制了我们对它们实际编码的语义特征的理解。此外,它导致了它们所用于任务的“黑箱”性质,因为词嵌入性能的原因通常对人类来说仍然是模糊的。在本文中,我们探索了词嵌入中编码的语义属性,将它们映射到可解释的向量上,由明确的和神经生物学驱动的语义特征组成(Binder 等人,2016 年)。我们的探索考虑了不同类型的嵌入,包括分解计数向量和预测模型(Skip-Gram、GloVe 等),以及最新的情境化表示(即 ELMo 和 BERT)。
词嵌入是使用计数或预测技术构建的矢量语义表示,旨在从词语共现中捕捉含义的细微差别。自从它们被引入以来,这些表示就因缺乏可解释的维度而受到批评。词嵌入的这种特性限制了我们对它们实际编码的语义特征的理解。此外,它导致了它们所用于任务的“黑箱”性质,因为词嵌入性能的原因通常对人类来说仍然是模糊的。在本文中,我们探索了词嵌入中编码的语义属性,将它们映射到可解释的向量上,由明确的和神经生物学驱动的语义特征组成(Binder 等人,2016 年)。我们的探索考虑了不同类型的嵌入,包括分解计数向量和预测模型(Skip-Gram、GloVe 等),以及最新的情境化表示(即 ELMo 和 BERT)。
Impagliazzo 和 Rudich (STOC'89) 的开创性工作证明了以黑箱方式从单向函数 (OWF) 构建经典公钥加密 (PKE) 是不可能的。量子信息有可能绕过经典限制,实现看似不可能的任务,例如量子货币、软件复制保护和无需单向函数的承诺。然而,问题依然存在:量子 PKE (QPKE) 能否从量子安全的 OWF 构建?最近的一项研究表明,确实可以从 OWF 构建 QPKE,但有一个警告。这些构造需要公钥是量子的和不可克隆的,从而降低了此类“公共”加密方案的实用性——公钥无法认证和重用。在这项工作中,我们重新审视了在存在 OWF 的量子随机预言模型 (QROM) 中完美完成 QPKE 的可能性。
生产建模和成本估算是当代飞机和飞机部件设计方法的主要驱动因素。然而,学术界提出的用于评估这些学科的现有方法并未在行业中得到广泛应用,因为 (a) 当前生产建模系统的黑箱行为,(b) 生产建模系统与设计过程之间缺乏联系,(c) 实施方法所需的成本和时间增加,(d) 生产信息的机密性,以及 (e) 改变工作方法的阻力。本文提出的研究提出了一种方法,旨在通过将基于知识的工程与语义网技术相结合来建模飞机生产过程,从而克服这些限制。该方法通过通用、灵活、适应性强且可重复使用的生产建模框架实现,该框架可以评估不同生产概念的影响,量化生产过程与飞机设计之间的相互作用,并开展性能和生产成本研究。
摘要 近年来,随着人工智能在日常生活中的广泛应用,对可解释/可解释的人工智能的需求与日俱增。人类往往不信任无法解释其结果如何产生的人工智能系统,这种系统被视为“黑箱”系统。人们希望人工智能系统不仅能提供高质量的结果,而且在结果生成过程中也是透明的,这被称为“可解释的人工智能”或“可解释的人工智能”。关于人工智能系统中的解释和解释是什么的大多数最新研究都是基于研究人员的主观直觉,没有坚实的理论支持,既没有达成共识,也没有数学定义,这可能是解释和解释这两个术语使用定义不明确和歧义的原因。在本文中,我们试图借助知识管理的坚实理论支持,消除人工智能背景下解释和解释使用的歧义。我们还分别讨论了人工智能系统中可解释性和可解释性的可能评估方法。
在主流大型语言模型(例如 ChatGPT)出现之前,AI 的应用有两种背景:理论和技术。前者涉及 AI 构造背后的数学以及新的 AI 研究;后者涵盖 AI 使用的实质,即编程、训练、执行等。随着最近用于生成文本、图像和视频等内容的大型语言模型的激增,AI 应用出现了一种新的背景:实践。AI 使用的这一方面是独一无二的,因为实际用户不需要理论或技术 AI 知识就能取得成功:他们只需要知道如何提示。实际上,AI 使用的实际背景是一种黑箱方法。AI 的这三种背景汇聚在 AI 知识的独特交汇处。这种新兴的 AI 观点值得考虑,因为现在和将来的大多数 AI 用户都不会具备对 AI 的深入了解。