XiaoMi-AI文件搜索系统
World File Search System可解
以人为本的可解释人工智能过程模型
引言人工智能 (AI) 的发展已展现出令人瞩目的性能，特别是在图像处理或游戏等明确定义的领域。然而，所部署的技术对于人类用户来说可能是不透明的，这引发了一个问题：人工智能系统如何提供解释 (Neerincx 等人，2018 年；Rosenfeld 和 Richardson，2019 年)，并且监管框架对可解释人工智能 (XAI) 的需求日益增长。话虽如此，2017 年，谷歌的研究主管 Peter Norvig 指出，在人类可能不擅长提供“解释”的情况下期望计算机提供“解释”是具有讽刺意味的。可解释人工智能 (XAI) 的大部分工作都严重依赖于以计算机为中心的视角 (Springer，2019 年)。例如，Holzinger 等人 (2020) 假设人类和人工智能系统可以平等地访问“基本事实”。由此可见，可解释性“……突出了机器表示中与决策相关的部分……，即有助于模型在训练中的准确性或特定预测的部分。”与许多 XAI 文献一样，这并没有为人类提供任何角色，只能作为被动接受者。这意味着人工智能系统能够反省自己的过程来生成解释。然后将得到的解释呈现给用户，并描述人工智能系统的流程或它使用过的特征（“决策相关部分”）。这样，解释就只是一个建议（来自人工智能系统）加上与此相关的特征。正如 Miller (2017) 所指出的那样，这种态度的一个问题在于，它是基于设计师对什么是“好的”解释的直觉，而不是基于对人类如何响应和利用解释的合理理解。这并不能说明为什么选择某些特征，也不能说明为什么建议适合用户的关注点。它也没有将解释置于更广泛的组织中；分析师的解释可能与数据收集管理人员或接受分析师简报的经理的解释不同。对于 Holzinger 等人 (2020) 来说，情况的各个方面（定义为基本事实）被组合成一个陈述；也就是说，解释只是这个陈述的一种表达。这意味着从特征到解释存在线性插值。这类似于 Hempel 和 Oppenheim (1948) 的“覆盖定律模型”，该模型关注的是历史学家如何根据先前的原因来解释事件。然而，“基本事实”（由 Holzinger 的过程模型和覆盖定律模型假设）很少得到完全定义（导致在选择相关特征时产生歧义）。这意味着，仅仅陈述情况方面而不说明为什么选择这些方面（而不是其他方面）可能不会产生有用或可用的解释。霍夫曼等人（2018）对与解释相关的文献进行了全面的回顾。从这篇评论来看，解释涉及人类的理解（将人工智能系统的输出置于特定情境中），我们同意，考虑这一点的适当框架是数据框架的理解模型（Klein 等人，2007）。此外，理解（及其与解释的关系）依赖于认识到过程（提供和接收解释）必须是相互的、迭代的和协商的。这个过程依赖于“解释者”和“被解释者”达成一致。换句话说，解释涉及“共同点”（Clark，1991），其中理解上有足够的一致性以使对话继续进行。对话的性质将取决于提供解释的情况和被解释者的目标。例如，被解释者可能是“受训者”，他试图理解解释以学习决策标准，也可能是“分析师”，使用人工智能系统的建议作为政策。
面向特定领域的可解释人工智能
皮肤癌检测是临床决策支持的一个常见应用 [7]。由于皮肤癌患者数量的增加和早期检测的良好治疗效果，过去几年来，人们在该领域进行了大量研究。在此背景下，DNN 已成为开发皮肤图像分类模型的可行方法 [2、8、12、30]。社区的高度关注导致出现了各种不同方法，其性能水平也参差不齐。1 所有方法的共同点都是训练一个可用于诊断并从而用于临床决策支持的模型。因此，新方法的评估标准通常是它们是否能够使模型在各种皮肤病诊断任务中取得更好的性能结果 [21]。同时，其他 AI 研究领域也越来越多地考虑对模型预测的解释。相比之下，这些技术在皮肤图像分类中的应用几乎没有得到解决，尽管最近的一些研究已经认识到
以用户为中心的可解释人工智能框架...
最先进的人工智能 (AI) 技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法将它们用于实际应用。但是，这种系统的复杂性要求引入使这些系统对人类用户透明的方法。AI 社区正试图通过引入可解释 AI (XAI) 领域来克服这一问题，该领域旨在使 AI 算法不那么晦涩难懂。但是，近年来，人们越来越清楚地认识到 XAI 不仅仅是一个计算机科学问题：由于它与通信有关，因此 XAI 也是人机交互问题。此外，AI 走出实验室是为了在现实生活中使用。这意味着需要针对非专家用户量身定制的 XAI 解决方案。因此，我们提出了一个以用户为中心的 XAI 框架，该框架侧重于其社交互动方面，灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式 XAI 解决方案的结构。
面向情感 XAI：通过面部情感分析来理解可解释的人机交互
随着机器学习方法越来越多地用于增强人类决策能力，可解释人工智能 (XAI) 研究探索了将系统行为传达给人类的方法。然而，这些方法往往无法解释人类在与解释互动时的情感反应。面部情感分析研究人类面部的情绪表达，是了解用户如何参与解释的一个有前途的视角。因此，在这项工作中，我们的目标是 (1) 确定人们与 XAI 界面交互时哪些面部情感特征会很明显，以及 (2) 开发一个多任务特征嵌入，将面部情感信号与参与者对解释的使用联系起来。我们的分析和结果表明，当参与者未能有效地使用解释时，面部 AU1 和 AU4 以及唤醒的发生和值会增加。这表明面部情感分析应该纳入 XAI，以根据个人的互动风格个性化解释，并根据执行任务的难度调整解释。
人工智能可解释性白皮书
- 从数据中可以了解到虚假相关性，这通常会妨碍模型的泛化能力并导致糟糕的现实世界结果。 - 失去可调试性和透明度，导致信任度低以及无法修复或改进模型和/或结果。此外，这种缺乏透明度阻碍了这些模型的采用，特别是在受监管的行业，例如银行和金融或医疗保健。 - 代理目标导致模型离线执行（通常是匹配代理指标）与部署在应用程序中时的性能之间存在很大差异。 - 由于模型从业者在有问题的情况下本地调整模型行为的能力下降而失去控制。 - 不良的数据放大反映了与我们的社会规范和原则不一致的偏见。
可解释的AI（XAI）和大型语言模型（LLM）
➢这是一个欺骗深神经网络（DNN）的实验：在第二和第四张图像中，工程师仅保留了系统用于识别吉他和企鹅的系统的元素，并更改了其余的所有内容，以使系统仍然像吉他和企鹅一样“看到”他们。➢Goodfellow等人的作品。（2014）从普遍的扰动开始打开了进一步发展的大门（Moosavi-Dezfooli等人。2017）最近的一个像素攻击，该攻击显示了如何通过在输入图像中更改一个像素来欺骗神经网络。笔记本在这里一张像素攻击原始纸
可解释的人工智能和机器学习
摘要 人工智能 (AI) 和机器学习 (ML) 正在彻底改变人类各个领域的活动，医学和传染病也未能幸免于其快速而指数级的增长。此外，可解释的 AI 和 ML 领域已变得尤为重要，并吸引了越来越多的关注。传染病已经开始受益于可解释的 AI/ML 模型。例如，它们已被用于或提议用于更好地理解旨在改善 2019 年冠状病毒病诊断和管理的复杂模型、抗菌素耐药性预测领域和量子疫苗算法中。尽管一些有关可解释性和可解释性二分法的问题仍需认真关注，但深入了解复杂的 AI/ML 模型如何得出预测或建议，对于正确应对本世纪传染病日益严峻的挑战变得越来越重要。
I-AI：一种可控制、可解释的人工智能系统，用于解读放射科医生对准确 CXR 诊断的高度关注
摘要 在胸部 X 光 (CXR) 诊断领域，现有研究通常仅侧重于确定放射科医生的注视点，通常是通过检测、分割或分类等任务。然而，这些方法通常被设计为黑盒模型，缺乏可解释性。在本文中，我们介绍了可解释人工智能 (I-AI)，这是一种新颖的统一可控可解释流程，用于解码放射科医生在 CXR 诊断中的高度关注度。我们的 I-AI 解决了三个关键问题：放射科医生注视的位置、他们在特定区域关注的时间以及他们诊断出的发现。通过捕捉放射科医生凝视的强度，我们提供了一个统一的解决方案，可深入了解放射学解释背后的认知过程。与当前依赖黑盒机器学习模型的方法不同，这些方法在诊断过程中很容易从整个输入图像中提取错误信息，而我们通过有效地屏蔽不相关的信息来解决这个问题。我们提出的 I-AI 利用视觉语言模型，可以精确控制解释过程，同时确保排除不相关的特征。为了训练我们的 I-AI 模型，我们利用眼球注视数据集来提取解剖注视信息并生成地面真实热图。通过大量实验，我们证明了我们方法的有效性。我们展示了旨在模仿放射科医生注意力的注意力热图，它编码了充分和相关的信息，仅使用 CXR 的一部分即可实现准确的分类任务。代码、检查点和数据位于 https://github.com/UARK-AICV/IAI。1. 简介