7.此外,2021 年,欧洲议会提出了《人工智能法案》(AI Act),以规范欧盟的人工智能使用。这项拟议法规为人工智能系统制定了监管框架,包括道德发展、透明度、安全性和准确性的要求,以及治理和监督系统。《人工智能法案》将人工智能应用分为不同风险等级(不可接受的做法、高风险系统以及低风险或有限风险系统),并规定了高风险系统的透明度和人工监督要求,这些要求将在整个联盟范围内执行。这可能会引发适应该法规的举措,包括全面的模型文档、可解释性技术、监控仪表板和模型警报。
7.此外,2021年欧洲议会提出了《人工智能法案》(AI Act),以规范欧盟境内人工智能的使用。该拟议法规为人工智能系统建立了监管框架,包括道德发展、透明度、安全性和准确性的要求,以及治理和监督体系。 《人工智能法案》将人工智能应用划分为不同风险等级(不可接受的做法、高风险系统和低风险或有限风险系统),并对高风险系统建立了透明度和人工监督要求,这些要求将在整个联盟范围内强制执行。这可能会引发适应该法规的举措,例如全面的模型文档、可解释性技术、监控仪表板和模型警报等。
注意:这篇文章是在几种人工智能(AI)工具的帮助下准备的。这些工具用于各种任务,包括搜索信息、收集和组织数据以及生成摘要。无论如何,这篇文章的最终材料是由人而不是人工智能编写的。
模型反转 [1] 和模型提取(窃取)攻击 [2] 是先进的对抗技术,可危及机器学习 (ML) 模型的安全和隐私。这些攻击从模型中提取敏感信息,例如训练数据和超参数。出于对日益增长的安全和隐私问题的担忧,文献中研究了越来越多的 ML-as-a-service 系统,这些系统提供使用机密数据训练的 ML 模型以及这些模型的可公开访问的查询界面。对黑盒 AI 模型可解释性的研究引发了一个新的研究课题可解释人工智能 (XAI) [3]。XAI 旨在描述难以被人类理解的 AI 模型的内部工作原理,以便可以描述模型的准确性、公平性、透明度和结果 [4]。其中一种方法是局部可解释模型不可知解释 (LIME) [5],它通过围绕该样本生成局部替代数据集来识别给定样本的最重要特征(影响 AI 的决策)。通过结合 XAI 产生的额外漏洞,可以增强对抗性 ML 攻击的能力。因此,我们提出了一种名为 AUTOLYCUS 的新型模型提取攻击,它使用来自 LIME 的模型解释来生成比最先进的攻击更少的查询,以揭示决策树模型的决策边界,并将这些边界提取到本地训练的代理模型。AUTOLYCUS 还可以从其他资源获得的样本中获取信息。这些资源可能包括先前采样的查询和其他数据集。我们演示
模型反转 [1] 和模型提取(窃取)攻击 [2] 是先进的对抗技术,可危及机器学习 (ML) 模型的安全和隐私。这些攻击从模型中提取敏感信息,例如训练数据和超参数。出于对日益增长的安全和隐私问题的担忧,文献中研究了越来越多的 ML-as-a-service 系统,这些系统提供使用机密数据训练的 ML 模型以及这些模型的可公开访问的查询界面。对黑盒 AI 模型可解释性的研究引发了一个新的研究课题可解释人工智能 (XAI) [3]。XAI 旨在描述难以被人类理解的 AI 模型的内部工作原理,以便可以描述模型的准确性、公平性、透明度和结果 [4]。其中一种方法是局部可解释模型不可知解释 (LIME) [5],它通过围绕该样本生成局部替代数据集来识别给定样本的最重要特征(影响 AI 的决策)。通过结合 XAI 产生的额外漏洞,可以增强对抗性 ML 攻击的能力。因此,我们提出了一种名为 AUTOLYCUS 的新型模型提取攻击,它使用来自 LIME 的模型解释来生成比最先进的攻击更少的查询,以揭示决策树模型的决策边界,并将这些边界提取到本地训练的代理模型。AUTOLYCUS 还可以从其他资源获得的样本中获取信息。这些资源可能包括先前采样的查询和其他数据集。我们演示
摘要:目前,可解释性是人工智能 (AI) 在各个应用领域的实际实施方面面临的主要障碍。为了解决对基于 AI 的系统缺乏理解的问题,可解释人工智能 (XAI) 旨在使黑盒 AI 模型对人类更加透明和易于理解。幸运的是,已经引入了大量 XAI 方法从不同角度解决可解释性问题。然而,由于搜索空间巨大,对于 ML 从业者和数据科学家来说,从开发 XAI 软件开始并选择最合适的 XAI 方法是一项挑战。为了应对这一挑战,我们引入了 XAIR,这是对最有前途的 XAI 方法和工具的新颖的系统元评论。XAIR 通过将其结果与软件开发过程的五个步骤(包括需求分析、设计、实施、评估和部署)保持一致,从而与现有评论区分开来。通过这种映射,我们旨在更好地理解开发 XAI 软件的各个步骤,并促进创建包含可解释性的现实世界 AI 应用程序。最后,我们强调了未来研究的新方向。
摘要:物联网 (IoT) 和人工智能 (AI) 的发展为智能交通系统 (ITS) 带来了潜力,从而产生了物联网和 ITS 的集成,即车联网 (IoV)。为了实现自动驾驶和高效出行的目标,车联网现在与现代通信技术(如 5G)相结合,实现智能网联汽车 (ICV)。然而,车联网在以下五 (5) 个领域面临安全风险:ICV 安全、智能设备安全、服务平台安全、V2X 通信安全和数据安全。人们已经开发了许多 AI 模型来减轻入侵威胁对 ICV 的影响。另一方面,可解释人工智能(XAI)的兴起源于需要为人工智能的开发注入信心、透明度和可重复性,以确保智能网联汽车的安全并提供安全的智能交通系统。因此,本综述的范围涵盖了智能网联汽车入侵检测系统(IDS)中使用的 XAI 模型、它们的分类法和未解决的研究问题。研究结果表明,尽管 XAI 在智能网联汽车中的应用尚处于起步阶段,但它是提高智能网联汽车网络效率的一个有前途的研究方向。本文进一步表明,XAI 透明度的提高将提高其在汽车行业的接受度。
[1] Anyifei。2019。All-about-XAI。(2019)。https://github.com/feifeife/All-about-XAI [2] Hubert Baniecki。2022。对抗性可解释人工智能。(2022)。https://github.com/hbaniecki/adversarial-explainable-ai [3] Przemysław Biecek。2022。与 XAI(可解释人工智能)相关的有趣资源。(2022)。https://github.com/pbiecek/xai_resources [4] Marina Danilevsky、Kun Qi、Ranit Aharonov、Yannis Katsis、Ban Kawas 和 Prithviraj Sen. 2020。自然语言处理可解释人工智能现状调查。AACL-IJCNLP 2020 (2020)。https://xainlp2020.github.io/xainlp/table [5] 摩根·弗兰克、Dashun Wang、Manuel Cebrian 和 Iyad Rahwan。2019。人工智能研究中引文图的演变。自然机器智能1 (02 2019), 79–85。https://doi.org/10.1038/s42256-019-0024-5 [6] Michal Lopuszynski。2020。很棒的可解释机器学习。(2020)。https://github.com/lopusz/awesome-interpretable-machine-learning [7] Anh M. Nguyen。2022。关于可解释人工智能的论文。(2022)。https://github.com/anguyen8/XAI-papers [8] Kevin McAreavey。2022.CHAI-XAI。(2022)。https://github.com/kevinmcareavey/chai-xai [9] Sina Mohseni。2020。Awesome-XAI-Evaluation。(2020)。https://github.com/SinaMohseni/Awesome-XAI-Evaluation [10] Sina Mohseni、Niloofar Zarei 和 Eric D Ragan。2018。用于可解释 AI 系统设计和评估的多学科调查和框架。arXiv 预印本 arXiv:1811.11839 (2018)。[11] Benedek Rozemberczki。2022。很棒的可解释图形推理。(2022)。https://github.com/AstraZeneca/awesome-explainable-graph-推理 [12] 王永杰。2020。Awesome-explainable-AI。(2020)。https://github.com/wangyongjie-ntu/Awesome-explainable-AI [13] Sam Zabdiel。2022.XAI。(2022)。https://github.com/samzabdiel/XAI [14] Rehman Zafar。2022。与 XAI(可解释人工智能)相关的有趣资源。(2022)。https://github.com/rehmanzafar/xai-iml-sota
摘要:可解释的人工智能 (XAI) 模型使人与机器之间的关系更加透明和易于理解。保险行业为展示 XAI 的潜力提供了一个根本的机会,因为该行业拥有大量有关保单持有人的敏感数据,并且在社会进步和创新中具有核心地位。本文分析了当前人工智能 (AI) 在保险行业实践和保险研究中的应用,以评估其可解释程度。使用代表保险业 (X)AI 应用的搜索词,从 IEEE Xplore、ACM 数字图书馆、Scopus、Web of Science 和 Business Source Complete 和 EconLit 中筛选出 419 篇原创研究文章。对由此产生的 103 篇文章(2000-2021 年之间)进行了分析和分类,这些文章代表了保险文献中 XAI 的最新进展,突出了 XAI 方法在保险价值链各个阶段的普遍性。研究发现,XAI 方法在索赔管理、承保和精算定价实践中尤为普遍。简化方法,称为知识提炼和规则提取,被确定为保险价值链中使用的主要 XAI 技术。这很重要,因为将大型模型组合起来以创建具有不同关联规则的更小、更易于管理的模型有助于构建通常可理解的 XAI 模型。XAI 是 AI 的重要发展,可确保信任、透明度和道德价值观嵌入系统的生态系统中。在保险行业背景下对这些 XAI 焦点的评估证明了对 XAI 独特优势的探索是值得的,它向行业专业人士、监管机构和 XAI 开发人员强调了在进一步开发 XAI 时应特别关注的地方。这是首次分析 XAI 在保险行业中的当前应用的研究,同时有助于跨学科理解应用 XAI。在推进有关充分的 XAI 定义的文献的同时,作者根据保险领域 XAI 文献的系统评价,提出了一种改良的 XAI 定义。
摘要 人工智能 (AI) 系统越来越普遍:物联网、车载智能设备、机器人和虚拟助手,它们的大规模采用使得解释其行为成为必要,例如向受其决策影响的用户或需要确保其功能的开发人员解释其行为。一方面,这需要获得导致系统以某种方式运行(例如,做出特定决策)的事件链的准确表示。另一方面,需要根据用户的需求和期望将这种因果链传达给他们。在解释传递的这个阶段,允许用户和模型之间的交互有可能提高模型质量和用户体验。XAINES 项目通过针对特定受众需求的叙述来研究对 AI 系统的解释,重点关注实现成功解释的两个重要方面:生成和选择适当的解释内容,即解释中要包含的信息,并以适当的方式将这些信息传递给用户。在本文中,我们介绍了该项目的路线图,以实现用叙述来解释人工智能。
