XiaoMi-AI文件搜索系统
World File Search System可解
可解释的AI（XAI）和大型语言模型（LLM）
➢这是一个欺骗深神经网络（DNN）的实验：在第二和第四张图像中，工程师仅保留了系统用于识别吉他和企鹅的系统的元素，并更改了其余的所有内容，以使系统仍然像吉他和企鹅一样“看到”他们。➢Goodfellow等人的作品。（2014）从普遍的扰动开始打开了进一步发展的大门（Moosavi-Dezfooli等人。2017）最近的一个像素攻击，该攻击显示了如何通过在输入图像中更改一个像素来欺骗神经网络。笔记本在这里一张像素攻击原始纸
![[研究生]可解释的AI课程教学大纲2024 [草稿]](/simg/f/f00906b2f4dba7681514264c9db48b0f29ca86c2.webp)
[研究生]可解释的AI课程教学大纲2024 [草稿]
●……严格禁止。这包括使用AI来生成想法，概述方法，回答问题，解决问题或创建原始语言。本课程中的所有工作都必须是您自己的或在允许的小组工作中创建的。●…应在有限的基础上允许。您将被告知可以使用AI的作业。您也欢迎您在任何作业上使用AI写作工具的事先批准。在任何一种情况下，都应谨慎使用AI写作工具，因为应适当地使用AI的使用。未经我允许或授权使用AI写作工具，或者即使在允许的情况下也无法正确引用AI，构成了违反UT Austin关于学术完整性的机构规则的违反。●…适用于AI产生的内容，允许使用它们的学生。如果您考虑使用AI写作工具，但不确定是否允许或适当地使用它们的程度，请询问。”
3.13 可解释的游戏人工智能
首先，我们研究了生成超级马里奥关卡的不同可能性。TOAD-GAN [ 3 ] 仅使用一个示例即可进行训练。该方法还使用户能够通过更改代表生成器网络输入的噪声向量来控制生成过程的输出。由于设计师无法解释噪声向量，因此设计师仍然无法根据自己的需求设计内容。为了实现这一点，必须让设计师能够解释噪声向量，并将噪声向量的不同区域映射到噪声向量变化所产生的内容。生成超级马里奥关卡的另一种方法是使用带有图块集的进化算法 [ 4 ]。图块集强制输出的一致性，而 Kullback-Leiber 散度
以用户为中心的可解释人工智能框架...
最先进的人工智能 (AI) 技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法将它们用于实际应用。但是，这种系统的复杂性要求引入使这些系统对人类用户透明的方法。AI 社区正试图通过引入可解释 AI (XAI) 领域来克服这一问题，该领域旨在使 AI 算法不那么晦涩难懂。但是，近年来，人们越来越清楚地认识到 XAI 不仅仅是一个计算机科学问题：由于它与通信有关，因此 XAI 也是人机交互问题。此外，AI 走出实验室是为了在现实生活中使用。这意味着需要针对非专家用户量身定制的 XAI 解决方案。因此，我们提出了一个以用户为中心的 XAI 框架，该框架侧重于其社交互动方面，灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式 XAI 解决方案的结构。
以人为本的可解释人工智能过程模型
引言人工智能 (AI) 的发展已展现出令人瞩目的性能，特别是在图像处理或游戏等明确定义的领域。然而，所部署的技术对于人类用户来说可能是不透明的，这引发了一个问题：人工智能系统如何提供解释 (Neerincx 等人，2018 年；Rosenfeld 和 Richardson，2019 年)，并且监管框架对可解释人工智能 (XAI) 的需求日益增长。话虽如此，2017 年，谷歌的研究主管 Peter Norvig 指出，在人类可能不擅长提供“解释”的情况下期望计算机提供“解释”是具有讽刺意味的。可解释人工智能 (XAI) 的大部分工作都严重依赖于以计算机为中心的视角 (Springer，2019 年)。例如，Holzinger 等人 (2020) 假设人类和人工智能系统可以平等地访问“基本事实”。由此可见，可解释性“……突出了机器表示中与决策相关的部分……，即有助于模型在训练中的准确性或特定预测的部分。”与许多 XAI 文献一样，这并没有为人类提供任何角色，只能作为被动接受者。这意味着人工智能系统能够反省自己的过程来生成解释。然后将得到的解释呈现给用户，并描述人工智能系统的流程或它使用过的特征（“决策相关部分”）。这样，解释就只是一个建议（来自人工智能系统）加上与此相关的特征。正如 Miller (2017) 所指出的那样，这种态度的一个问题在于，它是基于设计师对什么是“好的”解释的直觉，而不是基于对人类如何响应和利用解释的合理理解。这并不能说明为什么选择某些特征，也不能说明为什么建议适合用户的关注点。它也没有将解释置于更广泛的组织中；分析师的解释可能与数据收集管理人员或接受分析师简报的经理的解释不同。对于 Holzinger 等人 (2020) 来说，情况的各个方面（定义为基本事实）被组合成一个陈述；也就是说，解释只是这个陈述的一种表达。这意味着从特征到解释存在线性插值。这类似于 Hempel 和 Oppenheim (1948) 的“覆盖定律模型”，该模型关注的是历史学家如何根据先前的原因来解释事件。然而，“基本事实”（由 Holzinger 的过程模型和覆盖定律模型假设）很少得到完全定义（导致在选择相关特征时产生歧义）。这意味着，仅仅陈述情况方面而不说明为什么选择这些方面（而不是其他方面）可能不会产生有用或可用的解释。霍夫曼等人（2018）对与解释相关的文献进行了全面的回顾。从这篇评论来看，解释涉及人类的理解（将人工智能系统的输出置于特定情境中），我们同意，考虑这一点的适当框架是数据框架的理解模型（Klein 等人，2007）。此外，理解（及其与解释的关系）依赖于认识到过程（提供和接收解释）必须是相互的、迭代的和协商的。这个过程依赖于“解释者”和“被解释者”达成一致。换句话说，解释涉及“共同点”（Clark，1991），其中理解上有足够的一致性以使对话继续进行。对话的性质将取决于提供解释的情况和被解释者的目标。例如，被解释者可能是“受训者”，他试图理解解释以学习决策标准，也可能是“分析师”，使用人工智能系统的建议作为政策。
医疗保健领域人工智能的可解释性
摘要背景：在人工智能 (AI) 应用于医疗保健领域时，可解释性是最受争议的话题之一。尽管人工智能驱动的系统已被证明在某些分析任务中表现优于人类，但缺乏可解释性仍然引发批评。然而，可解释性不是一个纯粹的技术问题，相反，它引发了一系列需要彻底探索的医学、法律、伦理和社会问题。本文对可解释性在医学人工智能中的作用进行了全面评估，并对可解释性对于将人工智能驱动的工具应用于临床实践的意义进行了伦理评估。方法：以基于人工智能的临床决策支持系统为例，我们采用多学科方法从技术、法律、医学和患者的角度分析了可解释性对医学人工智能的相关性。基于这一概念分析的结果，我们随后进行了伦理评估，使用 Beauchamp 和 Childress 的“生物医学伦理原则”（自主、仁慈、不伤害和正义）作为分析框架，以确定医疗 AI 中可解释性的必要性。结果：每个领域都强调了一组不同的核心考虑因素和价值观，这些因素与理解可解释性在临床实践中的作用有关。从技术角度来看，可解释性必须从如何实现和从发展角度来看有什么好处两个方面来考虑。从法律角度来看，我们将知情同意、医疗器械认证和批准以及责任确定为可解释性的核心接触点。医学和患者的观点都强调了考虑人类行为者和医疗 AI 之间相互作用的重要性。我们得出的结论是，在临床决策支持系统中忽略可解释性会对医学的核心伦理价值观构成威胁，并可能对个人和公共健康产生不利影响。结论：为了确保医疗 AI 兑现其承诺，需要让开发人员、医疗保健专业人员和立法者意识到医疗 AI 中不透明算法的挑战和局限性，并促进多学科合作。关键词：人工智能、机器学习、可解释性、可解释性、临床决策支持
迈向可解释人工智能的统一框架
可解释人工智能 (XAI) 领域已迅速成为一个蓬勃发展且成果丰硕的社区。然而，该领域一个不为人知、反复出现且公认的问题是缺乏对其术语的共识。特别是，每一项新贡献似乎都依赖于其自己的（通常是直观的）术语版本，例如“解释”和“阐释”。这种混乱阻碍了该领域进步的巩固，无法满足科学和监管要求，例如在比较方法或确定其对偏见和公平约束的遵从性时。我们提出了一个理论框架，它不仅为这些术语提供了具体的定义，而且还概述了产生解释和阐释所需的所有步骤。该框架还允许重新语境化现有贡献，以便可以衡量其范围，从而使它们与其他方法具有可比性。我们表明，该框架符合对解释、可解释性和评估指标的要求。我们提供了一个用例，展示了如何使用该框架来比较 LIME、SHAP 和 MDNet，确定它们的优点和缺点。最后，我们从我们的框架的角度讨论了 XAI 的相关趋势以及对未来工作的建议。
面向特定领域的可解释人工智能
皮肤癌检测是临床决策支持的一个常见应用 [7]。由于皮肤癌患者数量的增加和早期检测的良好治疗效果，过去几年来，人们在该领域进行了大量研究。在此背景下，DNN 已成为开发皮肤图像分类模型的可行方法 [2、8、12、30]。社区的高度关注导致出现了各种不同方法，其性能水平也参差不齐。1 所有方法的共同点都是训练一个可用于诊断并从而用于临床决策支持的模型。因此，新方法的评估标准通常是它们是否能够使模型在各种皮肤病诊断任务中取得更好的性能结果 [21]。同时，其他 AI 研究领域也越来越多地考虑对模型预测的解释。相比之下，这些技术在皮肤图像分类中的应用几乎没有得到解决，尽管最近的一些研究已经认识到
聚焦 LRP：用于人脸变形攻击检测的可解释 AI
近年来，检测变形人脸图像的任务变得非常重要，以确保基于人脸图像的自动验证系统（例如自动边境控制门）的安全性。基于深度神经网络 (DNN) 的检测方法已被证明非常适合此目的。然而，它们在决策过程中并不透明，而且不清楚它们如何区分真实人脸图像和变形人脸图像。这对于旨在协助人类操作员的系统尤其重要，因为人类操作员应该能够理解其中的推理。在本文中，我们解决了这个问题，并提出了聚焦分层相关性传播 (FLRP)。该框架在精确的像素级别向人类检查员解释深度神经网络使用哪些图像区域来区分真实人脸图像和变形人脸图像。此外，我们提出了另一个框架来客观地分析我们方法的质量，并将 FLRP 与其他 DNN 可解释性方法进行比较。该评估框架基于移除检测到的伪影并分析这些变化对 DNN 决策的影响。特别是，如果 DNN 的决策不确定甚至不正确，与其他方法相比，FLRP 在突出显示可见伪影方面表现得更好。
在供应链决策支持中启用可解释的人工智能功能
抽象可解释的人工智能（XAI）在实现明智决定的过程中发挥了作用。现代各种供应链（SC）平台的出现改变了SC相互作用的性质，导致了显着的不确定性。这项研究旨在对现有的有关决策支持系统（DSS）的文献进行彻底分析，并在SC领域内对XAI功能的结合。我们的分析揭示了XAI对SC领域决策过程的影响。本研究利用Shapley添加说明（SHAP）技术使用Python机器学习（ML）过程分析在线数据。解释性算法是专门为通过为其产生的预测提供理由来提高ML模型的清醒性的。本研究旨在建立可衡量的标准，以识别XAI和DSS的组成部分，从而在SC的背景下增强决策。这项研究评估了对他们做出预测的能力，在线数据集的利用，所检查的变量数量，学习能力的发展以及在决策背景下进行验证的研究，强调了需要在不确定条件下涉及智能决策的其他探索领域的研究领域。