- 从数据中可以了解到虚假相关性,这通常会妨碍模型的泛化能力并导致糟糕的现实世界结果。 - 失去可调试性和透明度,导致信任度低以及无法修复或改进模型和/或结果。此外,这种缺乏透明度阻碍了这些模型的采用,特别是在受监管的行业,例如银行和金融或医疗保健。 - 代理目标导致模型离线执行(通常是匹配代理指标)与部署在应用程序中时的性能之间存在很大差异。 - 由于模型从业者在有问题的情况下本地调整模型行为的能力下降而失去控制。 - 不良的数据放大反映了与我们的社会规范和原则不一致的偏见。
摘要 自我调节学习 (SRL) 是一种认知能力,在促进学生有效制定策略、监控和评估自己的学习行为方面具有明显意义。研究表明,缺乏自我调节学习技能会对学生的学业成绩产生负面影响。有效的数据驱动反馈和行动建议被认为对 SRL 至关重要,并显著影响学生的学习和表现。然而,向每个学生提供个性化反馈的任务对教师来说是一个重大挑战。此外,由于大多数课程的学生人数众多,为个性化建议确定适当的学习活动和资源的任务对教师来说也是一个重大挑战。为了应对这些挑战,一些研究已经探讨了基于学习分析的仪表板如何支持学生的自我调节。这些仪表板提供了一些关于学生成功和失败的可视化(作为反馈)。然而,虽然这种反馈可能有益,但它并没有提供有见地的信息或可行的建议来帮助学生提高学业水平。可解释的人工智能 (xAI) 方法已被提出来解释此类反馈并从预测模型中产生见解,重点关注学生在正在进行的课程中需要采取的相关行动以改进。此类智能活动可以作为数据驱动的行为改变建议提供给学生。本论文提供了一种基于 xAI 的方法,可以预测课程表现并计算信息反馈和可操作的建议,以促进学生的自我调节。与以前的研究不同,本论文将预测方法与 xAI 方法相结合,以分析和操纵学生的学习轨迹。目的是通过为该方法提供的预测提供深入的见解和解释,为学生提供详细的、数据驱动的可操作反馈。与单独的预测相比,该技术为学生提供了更实用和有用的知识。所提出的方法以仪表板的形式实施,以支持大学课程中学生的自我调节,并对其进行了评估以确定其对学生学业成绩的影响。结果表明,仪表板显着提高了学生的学习成绩并提高了他们的自我调节学习技能。此外,研究发现,所提出的方法提出的建议对学生的表现产生了积极影响,并帮助他们进行自我调节。
© 编辑(如适用)和作者 2022。本书是开放获取出版物。开放获取 本书根据知识共享署名 4.0 国际许可证(http://creativecommons.org/licenses/by/4.0/)的条款获得许可,允许以任何媒体或格式使用、共享、改编、分发和复制,只要您给予原作者和来源适当的信用,提供知识共享许可证的链接并指明是否进行了更改。本书中的图像或其他第三方材料包含在本书的知识共享许可证中,除非在材料的致谢中另有说明。如果材料未包含在本书的知识共享许可证中,并且您的预期用途不被法定法规允许或超出允许用途,则您需要直接从版权所有者处获得许可。本出版物中使用一般描述性名称、注册名称、商标、服务标记等。即使没有具体声明,也不意味着这些名称不受相关保护法律和法规的约束,因此可以自由使用。出版商、作者和编辑可以放心地认为,本书中的建议和信息在出版之日是真实准确的。出版商、作者或编辑均不对此处包含的材料或可能出现的任何错误或遗漏提供明示或暗示的保证。出版商对已出版地图和机构隶属关系中的司法管辖权主张保持中立。
● D. Gunning,可解释的人工智能(xAI),技术代表,国防高级研究计划局(DARPA)(2017)● AB Arrieta,等人。可解释的人工智能(XAI):概念、分类法、机遇和挑战,走向负责任的人工智能。信息融合 58(2020):82-115。● E. Tjoa、C. Guan,可解释的人工智能(XAI)调查:面向医学 XAI (2019)。arXiv:1907.07374。● LH Gilpin、D. Bau、BZ Yuan、A. Bajwa、M. Specter、L. Kagal,解释解释:机器学习可解释性概述 (2018)。 arXiv:1806.00069 ● FK Došilović、M. Brćić、N. Hlupić,可解释的人工智能:一项调查,载于:第 41 届信息和通信技术、电子和微电子国际会议 (MIPRO),2018 年,第 210-215 页。● A. Adadi、M. Berrada,窥视黑匣子内部:可解释的人工智能 (XAI) 调查,IEEE Access 6 (2018) 52138-52160。● O. Biran、C. Cotton,机器学习中的解释和论证:一项调查,载于:IJCAI-17 可解释人工智能 (XAI) 研讨会,第 8 卷,2017 年,第 1 页。● ST Shane、T. Mueller、RR Hoffman、W. Clancey、G. Klein,《人机交互系统中的解释:可解释人工智能的关键思想和出版物及参考书目的文献元评论概要》,国防高级研究计划局 (DARPA) XAI 计划技术代表 (2019)。● R. Guidotti、A. Monreale、S. Ruggieri、F. Turini、F. Giannotti、D. Pedreschi,《解释黑盒模型的方法调查》,ACM 计算调查 51 (5) (2018) 93:1–93:42。
摘要背景:在人工智能 (AI) 应用于医疗保健领域时,可解释性是最受争议的话题之一。尽管人工智能驱动的系统已被证明在某些分析任务中表现优于人类,但缺乏可解释性仍然引发批评。然而,可解释性不是一个纯粹的技术问题,相反,它引发了一系列需要彻底探索的医学、法律、伦理和社会问题。本文对可解释性在医学人工智能中的作用进行了全面评估,并对可解释性对于将人工智能驱动的工具应用于临床实践的意义进行了伦理评估。方法:以基于人工智能的临床决策支持系统为例,我们采用多学科方法从技术、法律、医学和患者的角度分析了可解释性对医学人工智能的相关性。基于这一概念分析的结果,我们随后进行了伦理评估,使用 Beauchamp 和 Childress 的“生物医学伦理原则”(自主、仁慈、不伤害和正义)作为分析框架,以确定医疗 AI 中可解释性的必要性。结果:每个领域都强调了一组不同的核心考虑因素和价值观,这些因素与理解可解释性在临床实践中的作用有关。从技术角度来看,可解释性必须从如何实现和从发展角度来看有什么好处两个方面来考虑。从法律角度来看,我们将知情同意、医疗器械认证和批准以及责任确定为可解释性的核心接触点。医学和患者的观点都强调了考虑人类行为者和医疗 AI 之间相互作用的重要性。我们得出的结论是,在临床决策支持系统中忽略可解释性会对医学的核心伦理价值观构成威胁,并可能对个人和公共健康产生不利影响。结论:为了确保医疗 AI 兑现其承诺,需要让开发人员、医疗保健专业人员和立法者意识到医疗 AI 中不透明算法的挑战和局限性,并促进多学科合作。关键词:人工智能、机器学习、可解释性、可解释性、临床决策支持
人工智能和机器学习 (AI/ML) 算法在医疗保健领域的发展日渐成熟,用于诊断和治疗各种医疗状况 ( 1 )。然而,尽管此类系统技术实力雄厚,但它们的采用却一直充满挑战,它们是否能真正改善医疗保健以及在多大程度上改善医疗保健仍有待观察。一个主要原因是,基于 AI/ML 的医疗设备的有效性在很大程度上取决于其用户的行为特征,例如,用户往往容易受到有据可查的偏见或算法厌恶的影响 ( 2 )。许多利益相关者越来越多地将预测算法所谓的黑箱性质视为用户持怀疑态度、缺乏信任和接受缓慢的核心原因 ( 3, 4 )。因此,立法者一直在朝着要求提供黑箱算法决策解释的方向发展 (5) 。事实上,学术界、政府和民间社会团体几乎一致支持可解释的 AI/ML。许多人被这种方法吸引,因为它既能利用不可解释的人工智能/机器学习(如深度学习或神经网络)的准确性优势,又能支持透明度、信任和采用。我们认为,这种共识至少在应用于医疗保健领域时,既夸大了要求黑盒算法可解释的好处,又低估了其弊端。
机器学习方法在生物识别和个人信息处理(例如法医、电子医疗、招聘和电子学习)领域的重要性日益增加。在这些领域,基于机器学习方法构建的系统的白盒(人类可读)解释可能变得至关重要。归纳逻辑编程 (ILP) 是符号 AI 的一个子领域,旨在自动学习有关数据处理的声明性理论。从解释转换中学习 (LFIT) 是一种 ILP 技术,可以学习与给定黑盒系统等同的命题逻辑理论(在特定条件下)。本研究通过检查 LFIT 在特定 AI 应用场景中的可行性,迈出了将准确的声明性解释纳入经典机器学习的通用方法的第一步:基于使用机器学习方法生成的自动工具进行公平招聘,用于对包含软生物特征信息(性别和种族)的简历进行排名。我们展示了 LFIT 对这个特定问题的表达能力,并提出了一个可应用于其他领域的方案。
近年来,检测变形人脸图像的任务变得非常重要,以确保基于人脸图像的自动验证系统(例如自动边境控制门)的安全性。基于深度神经网络 (DNN) 的检测方法已被证明非常适合此目的。然而,它们在决策过程中并不透明,而且不清楚它们如何区分真实人脸图像和变形人脸图像。这对于旨在协助人类操作员的系统尤其重要,因为人类操作员应该能够理解其中的推理。在本文中,我们解决了这个问题,并提出了聚焦分层相关性传播 (FLRP)。该框架在精确的像素级别向人类检查员解释深度神经网络使用哪些图像区域来区分真实人脸图像和变形人脸图像。此外,我们提出了另一个框架来客观地分析我们方法的质量,并将 FLRP 与其他 DNN 可解释性方法进行比较。该评估框架基于移除检测到的伪影并分析这些变化对 DNN 决策的影响。特别是,如果 DNN 的决策不确定甚至不正确,与其他方法相比,FLRP 在突出显示可见伪影方面表现得更好。
● 人工智能通过分析数据或信息进行学习。● 你给人工智能的信息越多,它完成任务的准确性就越高。这就像教狗知道什么是玩具。● 你给狗接触玩具(数据)的机会越多,它就越能知道如何区分什么是玩具,什么不是玩具。
