博弈论是一个数学领域,研究理性主体之间的战略互动及其在包括人工智能在内的广泛学科中的潜在应用。在可解释的人工智能背景下,博弈论可以提供一种理解和提高人工智能模型透明度的基本方法。博弈论的一个重要方面是将战略互动概念化为“游戏”,参与者在游戏中做出理性决策以最大化他们的目标。通过将这些概念应用于人工智能可解释性,我们可以将人工智能模型的决策过程视为人工智能系统与试图理解其行为的人类用户之间的博弈。博弈论可以提供一个概念框架来分析人工智能模型用来清晰易懂地传达其决策的策略。例如,通过纳什均衡等概念,可以评估人工智能模型和人类用户如何以最佳方式协同工作,以确保对系统做出的决策进行有效解释。此外,博弈论可以帮助模拟人工智能的可解释性可能与其他目标(如计算效率或预测性能)相冲突的场景。通过分析多用户游戏和战略权衡,我们可以制定策略来平衡这些不同的考虑因素,并设计出满足一系列相互竞争要求的可解释人工智能模型。
没有人工智能,现代教育就不是现代教育。然而,人工智能的复杂性使得理解和解决问题具有挑战性。全球研究表明,父母的收入对孩子的教育有很大影响。这促使我们探索人工智能,尤其是复杂模型,如何使用可解释的人工智能工具做出重要决策。我们的研究发现了许多与父母收入相关的复杂性,并为这些决定提供了合理的解释。然而,我们也发现人工智能存在偏见,这与我们对人工智能在教育领域的期望背道而驰:清晰透明,人人平等。这些偏见会影响家庭和儿童的教育,凸显了对更好的人工智能解决方案的需求,为所有人提供公平的机会。本章试图阐明人工智能运作的复杂方式,尤其是关于偏见的问题。这些是制定更好的教育政策的基础步骤,包括以更可靠、更负责、对所有参与者都有益的方式使用人工智能。
摘要。几十年来,人们对可解释人工智能领域的兴趣一直在增长,最近更是加速增长。随着人工智能模型变得越来越复杂,而且往往越来越不透明,并结合了复杂的机器学习技术,可解释性变得更加重要。最近,研究人员一直在以用户为中心研究和解决可解释性问题,寻找考虑可信度、可理解性、明确出处和情境感知的解释。在本章中,我们利用对人工智能和密切相关领域的解释文献的调查,并利用过去的努力来生成一组解释类型,我们认为这些解释类型反映了当今人工智能应用对解释的扩展需求。我们定义了每种类型,并提供了一个示例问题来激发对这种解释风格的需求。我们相信这组解释类型将有助于未来的系统设计师生成和确定需求的优先级,并进一步帮助生成更符合用户和情境需求的解释。
链接 • 课程网站:https://hcixaitutorial.github.io/ • 课程幻灯片:http://qveraliao.com/xai_tutorial.pdf • 课前笔记:http://qveraliao.com/chi_course_notes.pdf • AIX360:http://aix360.mybluemix.net/ • 安装 AIX360:https://github.com/Trusted-AI/AIX360 • 代码演示:https://nbviewer.jupyter.org/github/IBM/AIX360/blob/master/examples/tutorials/HELOC.ipynb
| 2021 年 6 月 19 日 | Stieler, F.;Rabe, F.;Bauer, B.:面向领域特定可解释人工智能:使用人类方法对皮肤图像分类器进行模型解释 10
• 欧盟关于人工智能法案的提议:“用于评估自然人信用评分或信用度的人工智能系统应归类为高风险人工智能系统,因为它们决定了这些人获得金融资源或住房等基本服务的机会[…]”
7.此外,2021年欧洲议会提出了《人工智能法案》(AI Act),以规范欧盟境内人工智能的使用。该拟议法规为人工智能系统建立了监管框架,包括道德发展、透明度、安全性和准确性的要求,以及治理和监督体系。 《人工智能法案》将人工智能应用划分为不同风险等级(不可接受的做法、高风险系统和低风险或有限风险系统),并对高风险系统建立了透明度和人工监督要求,这些要求将在整个联盟范围内强制执行。这可能会引发适应该法规的举措,例如全面的模型文档、可解释性技术、监控仪表板和模型警报等。
摘要 近年来,随着深度学习 (DL) 算法的广泛应用,例如用于检测 Android 恶意软件或易受攻击的源代码,人工智能 (AI) 和机器学习 (ML) 在网络安全解决方案的开发中变得越来越重要。然而,与其他 DL 应用领域(例如计算机视觉 (CV) 和自然语言处理 (NLP))具有相同的基本限制,基于 AI 的网络安全解决方案无法证明结果(从检测和预测到推理和决策)并使人类可以理解。因此,可解释人工智能 (XAI) 已成为解决使人工智能模型对人类用户可解释或可解释的相关挑战的重要主题。它在网络安全领域尤其重要,因为 XAI 可以让每天被数以万计的安全警报(其中大部分是误报)淹没的安全操作员更好地评估潜在威胁并减少警报疲劳。我们对 XAI 与网络安全之间的交集进行了广泛的文献综述。具体来说,我们从两个角度调查现有文献:XAI 在网络安全中的应用(例如,入侵检测、恶意软件分类)和 XAI 的安全性(例如,对 XAI 管道的攻击、潜在的对策)。我们用文献中讨论过的几种安全属性来描述 XAI 的安全性。我们还提出了文献中未解答或未充分解决的开放性问题,并讨论了未来的研究方向。
摘要 许多做出重要决策的人工智能系统都是黑匣子:它们的运作方式甚至对开发人员来说都是不透明的。这是因为它们非常复杂,而且是经过训练而非编程的。缓解黑匣子系统不透明度的努力通常从透明度、可解释性和可解释性的角度进行讨论。然而,对于这些关键概念的含义几乎没有达成一致,这使得很难判断缓解不透明度方法的成功或前景。我主张对这些关键概念进行统一的解释,将理解的概念视为基础。这使得科学哲学和理解认识论的资源能够帮助指导缓解不透明度的努力。这种理解解释的第一个重要好处是,它化解了对事后可解释人工智能 (XAI) 方法的主要原则性反对意见之一。这种“合理化反对意见”认为 XAI 方法提供的只是合理化,而不是真正的解释。这是因为 XAI 方法涉及使用单独的“解释”系统来近似原始黑箱系统。这些解释系统的功能与原始系统完全不同,但 XAI 方法根据解释系统的行为对原始系统进行推断。我认为,如果我们将 XAI 方法视为理想化的科学模型,这种合理化担忧就会消失。理想化的科学模型歪曲了其目标现象,但能够提供对其目标的重要而真实的理解。