当提出安全保障要求时,责任人应清楚透明地证实这些要求。任何系统或技术所需的透明度和可解释性水平与针对其提出的安全保障要求的重要性成正比。例如,当人工智能系统与可以有效控制风险的传统措施同时使用时,所需的可解释性水平将仅限于这样的期望:责任人必须证明,即使人工智能未能按预期发挥作用,也不会导致负面的安全保障结果。如果人工智能系统执行了安全保障关键功能,则预期的可解释性水平将相应更高。
但是,AI和机器学习在绿色营销中的集成并不是没有挑战。数据质量和可用性构成困惑的障碍,因为准确可靠的数据对于训练强大的AI模型至关重要。隐私和安全性涉及进一步使景观复杂化,要求企业在利用消费者数据和保护个人隐私权之间保持微妙的平衡。AI算法中的偏见和公平问题带来了令人困惑的困境,需要一丝不全地检查和缓解策略。Moreover, the transparency and explainability of AI-driven marketing campaigns emerge as enigmatic puzzles, as businesses grapple with the need to build trust and foster consumer confidence in AI- powered systems (Sadriwala, M.F., & Sadriwala, K.F.2022)。
摘要 — 可解释人工智能 (XAI) 领域的一大挑战是如何评估可解释性方法。已经提出了许多评估方法 (EM),但尚未建立黄金标准。几位作者根据 EM 本身的特点将可解释性方法的 EM 分为几类(例如,基于启发式、以人为本、基于应用、基于功能)。在本愿景论文中,我们提出也可以根据 EM 所针对的 XAI 过程的各个方面对 EM 进行分类。基于阐明 XAI 中主要过程的模型,我们提出存在解释信息 EM、理解 EM 和需求 EM。这种新颖的观点旨在通过较少关注 EM 本身而是关注可解释性方法想要实现的目标(即提供良好的解释信息、促进理解、满足社会需求)来增强其他作者的观点。我们希望这两种观点的结合能让我们更全面地评估可解释性方法的优缺点,帮助我们做出更明智的决定,决定使用哪种方法或如何改进它们。索引术语——可解释性、可解释人工智能、XAI、评估、评估方法、指标、研究
摘要 — 在需求工程 (RE) 领域,可解释人工智能 (XAI) 在使 AI 支持的系统与用户需求、社会期望和监管标准保持一致方面的重要性日益得到认可。总体而言,可解释性已成为影响系统质量的重要非功能性需求。然而,可解释性和性能之间的权衡挑战了可解释性的假定积极影响。如果满足可解释性的要求会导致系统性能下降,那么必须仔细考虑哪些质量方面优先以及如何在它们之间妥协。在本文中,我们批判性地研究了所谓的权衡。我们认为,最好以一种细致入微的方式来解决这个问题,将资源可用性、领域特征和风险考虑结合起来。通过为未来的研究和最佳实践奠定基础,这项工作旨在推动 AI 的 RE 领域的发展。索引词 — 人工智能、AI、可解释性、可解释人工智能、性能、非功能性需求、NFR、XAI、权衡分析、准确性
可解释人工智能 (XAI) 在过去几年中经历了显着增长。这是由于机器学习(尤其是深度学习)的广泛应用,导致开发出缺乏可解释性和可解释性的高精度模型。已经提出、开发和测试了大量解决此问题的方法,同时还有几项研究试图定义可解释性的概念及其评估。本系统综述通过分层系统将所有科学研究聚类,对与可解释性概念和 XAI 方法的评估方法相关的理论和概念进行分类,从而为知识体系做出了贡献。此层次结构建立在对现有分类法和同行评审的科学材料的详尽分析之上。研究结果表明,学者们已经确定了许多概念和要求,解释应该满足这些概念和要求,以便最终用户能够轻松理解并提供可操作的信息来指导决策。他们还提出了各种方法来评估机器生成的解释在多大程度上满足了这些要求。总体而言,这些方法可以归结为以人为本的评估和具有更客观指标的评估。然而,尽管围绕可解释性概念发展了大量知识,但学者们对于如何定义解释以及如何评估其有效性和可靠性并没有达成普遍共识。最后,本评论通过批判性地讨论这些差距和局限性得出结论,并以可解释性作为任何人工智能系统的起始组成部分,定义了未来的研究方向。
ychen200@ua.edu Uzma Raja 奥本大学 uraja@auburn.edu 摘要 AI 推荐系统越来越多地应用于各种情境中,通过提供个性化推荐来促进集体利益,这些推荐有利于用户群体而不是个人。然而,追求集体利益有时可能会与个人偏好相冲突,导致用户认为推荐与他们的最佳利益背道而驰。这种现象涉及交通管理、环境保护、社会服务分配和医疗保健建议等各个领域。当用户不了解底层算法时,他们可能会遇到与他们的期望不一致的结果,从而导致怀疑并削弱对 AI 工具及其不透明决策过程的信任。因此,实现服务集体利益的总体目标成为一项挑战。这凸显了 AI 系统对可解释性的迫切需求。可解释人工智能 (XAI) 是一组过程和方法,允许人类用户理解和信任机器学习算法创建的结果和输出 (Arrieta 等人2020)。尽管在研究、实践和监管话语中受到越来越多的关注,但可解释性对基于集体利益的人工智能系统的影响仍有待探索。本文以锚定效应和计划行为理论的理论基础为基础,探讨了可解释性在培养信任和采用基于集体利益的人工智能系统中的关键作用,特别是在面对与个人最佳利益不同的建议时。具体来说,我们研究哪些特征或变量可以帮助解释人工智能推荐系统,从而促进采用基于集体利益的人工智能建议。此外,我们探讨了用户的人口统计特征和与推荐相关的感知成本如何影响可解释性对他们的信任和采用此类人工智能系统的意图的影响。
摘要 可解释人工智能 (XAI) 是一个新兴的多学科研究领域,旨在开发使 AI 系统更易于解释或解读的方法和工具。XAI 研究人员越来越多地认识到可解释性是一种对环境、受众和目的敏感的现象,而不是一个可以直接测量和优化的单一明确定义的属性。然而,由于目前没有可解释性的总体定义,这给这个多学科领域内的许多不同研究人员带来了沟通不畅的风险。这是我们在本文中试图解决的问题。我们概述了一个称为解释实用主义的框架,我们认为它有两个吸引人的特点。首先,它允许我们在明确的环境、受众和目的相关术语中概念化可解释性,同时保留可解释性的统一底层定义。其次,它使任何可能支撑关于寻求解释目的的可解释性相互冲突的主张的规范性分歧变得显而易见。第三,它使我们能够区分 AI 可解释性的几个维度。我们通过将这个框架应用于一个案例研究来说明这个框架,该案例研究涉及一个机器学习模型,用于预测患有意识障碍的患者是否有可能恢复意识。
1. 新的职场监控以及对信息和权力的新对称性的追求。2. 通过物联网和人工智能进行监控:前所未有的技术场景。3. 员工过度暴露和新的雇主监控权。3.1. 多种不对称层:介绍监控提供商。4. 解释和理解《欧洲人权公约》下的新监控。4.1. 解释和理解:解决透明度的背景和通用方法。4.2. 确保《欧洲人权公约》第 8 条下监控的可解释性和理解性。4.3. 通过欧洲人权法院关于基本劳工权利的判例法进行可解释性和理解性。4.4. 可解释和理解《欧洲人权公约》第 8 条以外的新监控:强调基本劳工权利的再分配功能。5. 结论:通过劳工权利确定《欧洲人权公约》第 8 条的范围。
背景:人工智能 (AI) 的进步为各个领域带来了众多好处。然而,它也带来了必须解决的道德挑战。其中之一是人工智能系统缺乏可解释性,即无法理解人工智能如何做出决策或产生结果。这引发了人们对这些技术的透明度和可问责性的质疑。这种可解释性的缺乏阻碍了人们对人工智能系统如何得出结论的理解,这可能导致用户不信任并影响此类技术在关键领域(例如医学或司法)的采用。此外,人工智能算法中还存在有关责任和偏见的道德困境。方法:考虑到上述情况,从伦理角度研究可解释人工智能的重要性存在研究空白。研究问题是人工智能系统缺乏可解释性的伦理影响是什么,以及如何解决这个问题?这项工作的目的是了解这个问题的伦理影响并提出解决它的方法。结果:我们的研究结果表明,人工智能系统缺乏可解释性会对信任和问责产生负面影响。用户可能会因为不理解某个决定是如何做出的而感到沮丧,这可能会导致对技术的不信任。此外,缺乏可解释性使得很难识别和纠正人工智能算法中的偏见,而偏见可能会导致不公正和歧视。结论:这项研究的主要结论是,人工智能必须在伦理上可解释,以确保透明度和问责制。有必要开发工具和方法,以便了解人工智能系统如何工作以及如何做出决策。促进人工智能、伦理和人权专家之间的多学科合作也很重要,以全面应对这一挑战。
摘要 基于人工智能技术的算法正在慢慢改变街头官僚机构,然而算法缺乏透明度可能会危及公民的信任。基于程序公平理论,本文假设算法透明度的两个核心要素(可访问性和可解释性)对于增强街头决策的可信度至关重要。本文在一个自由裁量权较低的场景(签证申请被拒绝)和一个自由裁量权较高的场景(福利欺诈嫌疑)中对这一假设进行了测试。结果表明:(1)可解释性对信任的影响比算法的可访问性更明显;(2)算法透明度的影响不仅涉及对算法本身的信任,而且部分涉及对人类决策者的信任;(3)算法透明度的影响在决策环境中并不稳健。这些发现意味着透明度作为可访问性不足以培养公民信任。必须解决算法的可解释性问题,以维持和培养算法决策的可信度。
