XiaoMi-AI文件搜索系统
World File Search Systemexplainability
超越可解释性的 AI 可解释性要求
摘要 随着人工智能 (AI) 在社会中的兴起，越来越多的人开始在日常生活中接触复杂且不透明的软件系统。这些黑盒系统通常难以理解，因此对最终用户来说并不可信。可解释人工智能 (XAI) 的研究表明，解释有可能解决这种不透明性问题，使系统更加透明和易于理解。然而，可解释性和可解释性之间的界限充其量是模糊的。虽然 XAI 中对可解释性有许多定义，但大多数定义都没有超越输出的合理性，即提供可解释性。与此同时，XAI 之外的当代研究已经采用了更广泛的可解释性定义，并研究了除算法及其输出之外的系统方面。在本立场文件中，我们认为 AI 系统的需求工程师需要考虑可解释性以外的可解释性要求。为此，我们提出了一个医疗领域的假设场景，该场景展示了 XAI 研究人员通常不会考虑的各种不同的可解释性要求。这篇文章旨在在 XAI 社区中引发讨论，并激励 AI 工程师在提出可解释性要求时跳出黑匣子。
标题可解释性在创建值得信赖的...中的作用
全局 BETA 模型 [37*] 树提取 - Bastani、Kim 和 Bastani [38*] 提炼和比较模型 - Tan、Caruana、Hooker 和 Lou [39] 符号元模型 - Alaa 和 van der Schaar [40] 局部 LIME - Ribeiro 等人。 [26] 锚点——Ribeiro、Singh 和 Guestrin [41] 归因全局 PDP——Friedman [42] 特征交互——Friedman 和 Popescu [43] ALE——Apley 和 Zhu [44*] 特征重要性——Fisher、Rudin 和 Dominici Kapelner、Bleich 和 Pitkin [47] QII——Datta、Sen 和 Zick [48] SHAP——Lundberg 和 Lee [49] LOCO——Lei 等人。 [46] INVASE - Yoon, Jordon 和 van der Schaar [50] 全球影响力实例示例 - Cook [51] MMD-critic - Kim, Khanna 和 Koyejo [52] 本地影响力实例 - Cook [51] 无条件反事实解释 - Wachter, Mittelstadt 和 Russell
量化医疗人工智能中可解释性的可信度
图3 市售 AI 软件的显着相关性评估。通过扰动原始胸部 X 光片（上行），通过攻击代理模型生成对抗性图像（下行）。然后将对抗性图像输入到市售医疗 AI 模型中。请注意，从原始图像到对抗性图像对不同发现的预测概率变化很大，而
在解释性和隐私之间进行权衡
摘要：随着AI的发展，了解复杂的AI决策背后的基本原理变得越来越重要。解释AI技术在揭开这些决策的神秘面前至关重要，提供了解释和传达AI驱动结果背后推理的方法和工具。然而，可解释的AI的兴起与保护敏感数据的必要性并列，从而导致加密技术在AI开发中的整合。本文探讨了AI中解释性和加密的复杂共存，呈现出一个困境，在这种困境中，寻求透明度与确保敏感信息的势在必行。矛盾在诸如同形加密之类的方法中尤为明显，在确保数据安全性的同时，它使为AI决策提供了清晰可解释的解释。讨论深入研究了这些方法的矛盾目标，调查了在Exable AI中使用隐私的方法的使用，并确定了未来研究的潜在方向。的贡献包括对当前可解释的AI方法中隐私注意事项的全面调查，一种模范用例，展示了可视化技术，可在安全环境中进行解释，并确定未来工作的途径。
端到端对象检测的内在解释性
抽象的深度学习模型正在自动执行许多日常任务，表明将来，即使是高风险的任务也将是自动化的，例如医疗保健和自动化驱动区。但是，由于这种深度学习模型的复杂性，了解其推理是一项挑战。此外，设计的深度学习模型的黑匣子性质可能会破坏公众对关键领域的信心。当前对本质上可解释的模型的努力仅着眼于分类任务，而在对象检测中留下了差距。因此，本文提出了一个深度学习模型，该模型可用于对象检测任务。这种模型所选的设计是众所周知的快速RCNN模型与ProtopNet模型的组合。对于可解释的AI实验，所选的性能度量是Protopnet模型的相似性评分。我们的实验表明，这种组合导致了一个深度学习模型，该模型能够以相似性得分来解释其分类，并使用视觉上的“单词袋”（称为原型）在训练过程中学习。此外，采用这种可解释的方法似乎并没有阻碍提出的模型的性能，该模型在Kitti数据集中获得了69％的地图，而GrazpedWri-DX数据集则获得了66％的地图。此外，我们的解释对相似性得分的可靠性很高。
立场检测方法的偏见和解释性
Sherbrooke大学是一家讲法语的机构，以其人类维度，创新的操作风格和与专业人士的合作而闻名。Sherbrooke大学欢迎来自全球102个国家和地区的31,700多名学生。该系由24位积极参与以下研究领域的教授组成：人工智能，生物信息学，健康信息学，人类计算机互动，成像和数字媒体科学等。NLP实验室专注于理解和生成与社会问题有关的各种学科中的文本。其工作包括对可恶内容的识别和缓解，对假新闻的检测，对社交网络表达的立场的分析以及基于神经体系结构的NLP模型中的偏见的解释性和降低。
医疗 AI 中可解释性的可信度被忽视
虽然已经提出了各种方法来解释人工智能模型，但对生成的解释的可信度却很少进行检验。本文表明，这种解释可能容易受到输入的细微扰动的影响，并产生误导性结果。在公共 CheXpert 数据集上，我们证明专门设计的对抗性扰动可以很容易地篡改显着性图以达到所需的解释，同时保留原始模型预测。医学领域的人工智能研究人员、从业者和权威机构在解释人工智能模型时应谨慎，因为这种解释可能不相关、误导，甚至在不改变模型输出的情况下被对抗性操纵。医学领域的人工智能研究人员、从业者和权威机构在解释人工智能模型时应谨慎，因为这种解释可能不相关、误导，甚至在不改变模型输出的情况下被对抗性操纵。
设计可解释性和可验证性的人工智能 - ThinkIR
摘要 在设计和实施自主系统时，主要的（如果不是最关键的）困难之一是决策结构和逻辑路径的黑箱性质。人类价值观如何在现场体现和实现最终可能会被证明是有害的，甚至是完全顽固的。因此，考虑到智能代理的不透明结构所带来的风险，利益相关者的价值观变得尤为重要。本文探讨了如何通过自动驾驶汽车的信念-愿望-意图模型设计决策矩阵算法，以最大限度地降低不透明架构的风险。主要通过明确地面向可解释性和可验证性的价值进行设计。为此，本研究采用价值敏感设计 (VSD) 方法作为将这些价值观纳入设计的原则框架。VSD 被认为是一个潜在的起点，它为工程团队提供了一种系统的方法，可以将现有的技术解决方案正式纳入道德设计中，同时保持对新出现的问题和需求的灵活性。结论是，VSD 方法至少提供了一个足够强大的基础，设计师可以从此开始预测设计需求并制定突出的设计流程，以适应自动驾驶汽车所需的不断变化的道德环境。
亚马逊人工智能公平性和可解释性白皮书
开发负责任的 AI 解决方案是一个过程，涉及在 ML 生命周期的所有阶段与关键利益相关者（包括产品、政策、法律、工程和 AI/ML 团队以及最终用户和社区）的意见和讨论。在本文中，我们主要关注 ML 生命周期中用于解决偏见和可解释性的技术工具。我们还提供了一个简短的部分，介绍了使用 AI 实现公平性和可解释性的局限性和最佳实践。
探索生成ai
生成AI模型发展的快速增长使其评估与发现其生成能力一样至关重要，例如音频文本，音频，图像和视频生成。我的研究重点是从解释性，可解释性和可信度来分析这些模型。解释性着重于这些模型的决策过程。我的研究试图回答以下问题：该模型能否解释它如何做出明显的决定？此外，它探讨了什么可以帮助该模型产生有关预测背后原因的有意义和可理解的解释。鉴于神经网络的性质，分析每个神经元中的参数通常是没有生产力的。因此，已经开发了各种甲基分析，例如事后分析，以从不同角度解决这个问题。但是，许多方法，例如事后分析，只是刮擦神经网络的表面。需要进一步的研究来解决这个新兴领域中众多未解决的问题。可解释性涉及了解模型的内部工作。鉴于其功能强大的固定功能，确定该模型是否已经完全理解所有要求并生成准确的内容是一项挑战，尤其是当用户不确定正确的答案时。因此，我对因果追踪感兴趣，例如机械性解释性，以深入了解模型。鉴于我对研究概念的讨论，这里有一些利用这些概念的方法和应用：解释性和可解释性旨在实现相同的目标：了解生成过程并解释生成模型的能力。这种不明智的想法将通过增加对模型输出的信任和有效利用来增强用户体验，从而导致可信赖性的方面。