人工智能模型因其黑箱特性而面临重大挑战,尤其是在医疗保健、金融和自动驾驶汽车等安全关键领域。可解释人工智能 (XAI) 通过解释这些模型如何做出决策和预测,确保透明度、可问责性和公平性来解决这些挑战。现有研究已经研究了 XAI 的基本概念、一般原则和 XAI 技术的范围。然而,文献中仍然存在空白,因为没有全面的评论深入研究 XAI 模型的详细数学表示、设计方法和其他相关方面。本文提供了全面的文献综述,涵盖常用术语和定义、XAI 的需求、XAI 的受益者、XAI 方法的分类以及 XAI 方法在不同应用领域的应用。该调查针对 XAI 研究人员、XAI 从业者、AI 模型开发人员和 XAI 受益者,他们有兴趣提高其 AI 模型的可信度、透明度、可问责性和公平性。
摘要 — 储能是电力市场中套利价格差异的战略参与者。未来电力系统运营商必须了解和预测战略存储套利行为,以便进行市场电力监控和容量充足性规划。本文提出了一种新颖的数据驱动方法,该方法结合了先验模型知识来预测价格接受者储能系统的战略行为。我们提出了一种梯度下降法来根据历史价格信号和观测值来查找存储模型参数。我们证明,在一类二次目标和线性等式约束存储模型下,所识别的模型参数将收敛到真实用户参数。我们通过使用合成和真实世界存储行为数据的数值实验证明了我们方法的有效性。与以前的黑箱数据驱动方法相比,所提出的方法显着提高了存储模型识别和行为预测的准确性。
数学在人工智能 (AI) 的语言结构中发挥着重要作用。我们将语言过程描述为人类认知和认知计算中都存在的独特结构。人工智能与人类认知的密切关系源于这种独特的结构,它为人工智能干扰与其互动的人的行为铺平了道路。我们强调数学家在设计算法(人工智能语言过程的核心)以及定义人工智能步骤和指令方面的作用。由于算法通过人工智能干扰与人工智能互动的人的思维,提供阻止用户自由选择的预期解决方案,因此我们研究如何应用道德原则来指导用户与智能系统之间的互动,以解决这个问题。我们认为,通过将道德原则融入算法的数学建模中,我们可以避免操纵、不平等和保护个人权利的黑箱。因此,对于那些使用算法的人来说,道德考虑非常重要,这凸显了数学的人文一面。
I. 引言基于神经网络的方法,特别是深度学习,是人工智能研究的一个新兴领域,并且在我们进入数字时代时成功处理了不断增长的数据量。如今,基于神经网络的方法不仅用于识别物体和识别关键词等低级认知任务,而且还被部署在各种工业信息系统中,以协助高级决策。在自然语言处理领域,过去十年有两个里程碑:一个是word2vec [1],这是一组从大型数据集中学习词嵌入(单词的向量表示)的神经模型;一个是基于GPT的最新模型[2],它将强化学习与生成式转换器相结合,以实现多轮端到端对话。虽然这些基于神经网络的模型可以对数据集进行高度准确的预测并生成类似人类的话语,但它们对数据的内部特征和表示却几乎没有提供任何理解。随后,许多问题和担忧都源于这个黑箱问题。由于其中一些问题和担忧也与情绪分析有关,我们在下面列出了其中五个:
进入专家系统的黄金时代。实际上,1965 年麻省理工学院的 DENDRAL(专门从事分子化学的专家系统)和 1972 年斯坦福大学的 MYCIN(专门用于诊断血液疾病和处方药的系统)开辟了前进的道路。这些系统基于“推理机”,该推理机被编程为人类推理的逻辑镜像。通过输入数据,“引擎”提供了具有高水平知识的答案。 20 世纪 80 年代末 90 年代初,这股热潮再次消退。事实上,编写这样的知识需要付出很多努力,当编写 200 到 300 条规则时,就会出现“黑箱”效应:不清楚机器究竟如何推理。因此,开发和维护变得极其困难,而且,还可以通过许多其他不太复杂且成本较低的方法来解决。值得回顾的是,在 20 世纪 90 年代,“人工智能”一词几乎成为“禁忌”,而其更为温和的变体,如“高级计算”,进入了大学语言。
摘要 神经退行性疾病的复杂性促使人们开发人工智能方法来预测损伤和疾病进展的风险。然而,尽管这些方法取得了成功,但它们大多是黑箱性质,阻碍了它们在疾病管理中的应用。可解释的人工智能有望通过对模型及其预测进行解释来弥合这一差距,从而促进用户的理解和信任。在生物医学领域,鉴于其复杂性,可解释的人工智能方法可以从将模型与领域知识的表示(本体)联系起来中受益匪浅。本体提供了更多可解释的特征,因为它们在语义上丰富且情境化,因此最终用户可以更好地理解;它们还对现有知识进行建模,从而支持探究给定的人工智能模型结果如何与现有科学知识相吻合。我们提出了一种可解释性方法,利用丰富的生物医学本体全景来构建基于语义相似性的解释,将患者数据和人工智能预测情境化。这些解释反映了人类的基本解释机制——相似性——同时解决了数据复杂性、异质性和规模的挑战。
摘要 — 最近,人工智能和机器学习在从图像处理到自然语言处理等许多任务中都表现出色,尤其是深度学习 (DL) 的出现。随着研究的进展,它们已经侵入许多不同的领域和学科。其中一些领域需要高度的责任感和透明度,例如医疗部门。因此需要对机器决策和预测进行解释以证明其可靠性。这需要更高的可解释性,这通常意味着我们需要了解算法背后的机制。不幸的是,DL 的黑箱性质仍未解决,许多机器决策仍然不太理解。我们回顾了不同研究工作提出的可解释性并对其进行了分类。不同的类别展示了可解释性研究的不同维度,从提供“明显”可解释信息的方法到复杂模式的研究。通过将相同的分类应用于医学研究中的可解释性,希望:1) 临床医生和从业者随后可以谨慎对待这些方法; 2)随着对医疗实践的更多考虑,对可解释性的洞察将随之产生;3)鼓励推动基于数据、数学和技术的医学教育。
摘要 — 最近,人工智能和机器学习在从图像处理到自然语言处理等许多任务中都表现出色,尤其是深度学习的出现。随着研究的进展,它们已经侵入许多不同的领域和学科。其中一些领域需要高度的责任感和透明度,例如医疗部门。因此需要对机器决策和预测进行解释以证明其可靠性。这需要更高的可解释性,这通常意味着我们需要了解算法背后的机制。不幸的是,深度学习的黑箱性质仍未解决,许多机器决策仍然知之甚少。我们回顾了不同研究工作提出的可解释性并对其进行了分类。不同的类别展示了可解释性研究的不同维度,从提供“明显”可解释信息的方法到复杂模式的研究。通过将相同的分类应用于医学研究中的可解释性,希望(1)临床医生和从业者随后可以谨慎对待这些方法;(2)对可解释性的洞察将更多地考虑医疗实践;(3)鼓励推动基于数据、数学和技术的医学教育。
即使黑箱模型能够做出准确的预测(例如,明天是否会下雨),我们也很难从模型中提取出能够提高人类理解力的原理(例如,哪一组大气条件最能预测降雨)。模型可解释性领域通过识别模型的显著方面(例如,模型最敏感的数据特征)来解决此问题。然而,这些方法可能不稳定且不一致,从而导致不可靠的见解。具体而言,当存在许多近似最优模型时,无法保证最佳拟合模型的单一解释会与“真实解释”一致:即来自生成数据的(未知)真实模型的解释。在这项工作中,我们旨在构建一个不确定性集,保证以高概率包含真实解释。我们开发了在频率论和贝叶斯设置中计算此类集合的方法。通过综合实验,我们证明我们的不确定性集对真实模型的解释具有高度保真度。真实世界的实验证实了我们方法的有效性。
摘要 本文探讨了人工智能证据在民事诉讼中的作用和地位。尽管此类证据在法庭诉讼中偶尔出现,但它有可能彻底改变证据领域,改变我们对现有证据类型性质和证据质量的理解。在彻底研究了人工智能的关键技术规范、人工智能证据的不同分类以及处理人工智能证据的各种方法后,作者提出了如何根据斯洛文尼亚民事诉讼法处理人工智能证据。据推断,如果此类证据的证明价值不取决于所涉及的人工智能,则可以将标准证据规则应用于人工智能证据。在证据的证明价值取决于所涉及的人工智能系统的情况下,人工智能证据仍然可以被视为证人或专家证据,或者确切地说,根据人类或人工智能对人工智能证据内容的贡献程度,被视为单方面宣誓书或私人专家意见。作者得出结论,为了使人工智能证据实现充分的证据价值和可靠性,必须妥善解决人工智能系统生成证据的黑箱和偏见问题。