人们经常宣扬“大数据”与人工智能 (AI) 的结合,认为将其应用于医疗决策时能带来宝贵的健康益处。然而,负责任地采用基于人工智能的临床决策支持系统在个人和社会层面都面临着多重挑战。其中一个特别令人担忧的特点是可解释性问题,因为如果医生不知道(或无法知道)算法得出特定输出的方式,则可能导致多重挑战,包括无法评估输出的优点。这种“不透明性”问题引发了人们对医生是否合理依赖算法输出的质疑,一些学者坚持可解释性的重要性,而另一些学者则认为没有理由对人工智能有要求,而对医生没有要求的东西。我们认为这两种观点都有可取之处,但我们发现,为了阐明可解释性在临床实践中的基本功能,从而阐明其在人工智能临床应用背景下的相关性,需要进行更深入的探讨。在本文中,我们通过研究可解释性在临床医学中的要求来探索可解释性,并区分可解释性对当前患者和未来患者的功能。这种区别对于可解释性的短期和长期要求具有影响。我们强调透明度在可解释性中的作用,并确定语义透明度是可解释性问题本身的基础。我们认为,在日常临床实践中,准确性足以作为临床决策的“认识论依据”,而要求可解释性(科学或因果解释)的最令人信服的理由是,通过建立更强大的世界模型,有可能改善未来的护理。我们认为临床决策的目标是尽可能多地提供最佳结果,并且发现——只要努力探索科学解释并继续改善未来患者的医疗保健,准确性就足以作为对当今患者进行干预的依据。
因此,可解释性被提出作为增强基于人工智能的系统可理解性的替代概念。与可解释性的区别在于“可解释模型是学习更结构化、可解释或因果模型的机器学习技术”[4]。换句话说,简单地说,可以说可解释性回答了“人工智能模型是如何工作的?”的问题,而可解释性则侧重于“为什么人工智能模型会提出这样的决定?”。许多作者都做出了这种区分[8-9],尽管其他一些人以不加区分的方式使用“可解释性”和“可解释性”这两个术语[10-13],或者最终坚持可解释模型的卓越性,特别是如果自动决策算法影响人类[14-15]。这种缺乏共识至少在一定程度上是由于解决可解释性问题的领域的异质性。然而,这些关键概念的定义对于研究项目的构建和推进至关重要。这就是为什么我们提出探索这样一个假设,即管理可解释性和可解释性之间的协同作用可以对决策过程产生积极影响,我们为此目的进行系统的文献综述。
人们经常宣传“大数据”和人工智能 (AI) 的结合在应用于医疗决策时具有带来宝贵健康益处的潜力。然而,负责任地采用基于 AI 的临床决策支持系统在个人和社会层面都面临着若干挑战。引起特别关注的特征之一是可解释性问题,因为如果医生不知道(或无法知道)算法得出特定输出的方式,这可能会导致多重挑战,包括无法评估输出的优点。这种“不透明性”问题引发了人们对医生是否合理地依赖算法输出的质疑,一些学者坚持可解释性的重要性,而另一些学者则认为没有理由要求 AI 做医生不需要的事情。我们认为这两种观点都有可取之处,但我们发现,为了阐明可解释性在临床实践中的潜在功能,以及它在临床应用人工智能背景下的相关性,需要进行更细致的分析。在本文中,我们通过研究可解释性在临床医学中的需求来探索可解释性,并区分可解释性对当前患者和未来患者的功能。这种区别对可解释性的短期和长期要求具有影响。我们强调了透明度在可解释性中的作用,并认为语义透明度是可解释性问题本身的基础。我们认为,在日常临床实践中,准确性足以作为临床决策的“认识论依据”,而要求科学或因果解释意义上的可解释性的最令人信服的理由是通过建立更强大的世界模型来改善未来的护理。我们认为临床决策的目标是尽可能多地提供最佳结果,并且发现——只要揭示科学解释的努力继续改善未来患者的医疗保健,准确性就足以为当今的患者提供干预。
摘要:人工智能 (AI) 中的可解释性对于确保透明度、问责制和风险缓解至关重要,从而解决信息系统使用的数字责任、社会、道德和生态方面的问题。欧盟 (EU) 将通过《人工智能法案》对人工智能进行监管。该法规引入了可解释人工智能 (XAI) 的要求。本文研究了哪些 XAI 要求受到监管以及哪些指标可用于衡量合规性。为此,分析了欧洲议会和理事会的法律文本,以确定 XAI 要求。此外,还收集了 XAI 分类法和指标。结果表明,《人工智能法案》为可解释性提供了抽象的规定,因此很难定义实现可解释性的具体指标。作为一种解决方案,我们提出了一种衡量合规性的社会技术指标分类。进一步的研究应该分析即将到来的可解释性要求,以使人工智能可验证并最大限度地降低人工智能带来的风险。
我们正在见证“人工智能经济和社会”的出现,人工智能技术正日益影响医疗保健、商业、交通和日常生活的许多方面。据报道,人工智能系统取得了许多成功,甚至超过了人类专家的准确性。然而,人工智能系统可能会产生错误,可能表现出偏见,可能对数据中的噪音敏感,并且往往缺乏技术和司法透明度,导致信任度降低并在采用过程中面临挑战。这些最近的缺点和担忧已在科学界和一般媒体上得到记录,例如自动驾驶汽车事故、医疗保健中的偏见、有色人种的招聘和人脸识别系统、看似正确的医疗决定后来被发现是由于错误的原因等。这导致许多政府和监管举措的出现,要求值得信赖和合乎道德的人工智能提供准确性和稳健性、某种形式的可解释性、人类控制和监督、消除偏见、司法透明度和安全性。交付可信 AI 系统所面临的挑战促使了对可解释 AI 系统 (XAI) 的深入研究。XAI 的目的是提供人类可理解的 AI 系统如何做出决策的信息。在本文中,我们首先简要总结当前的 XAI 工作,然后挑战最近的“准确性与可解释性”论点,因为它们是相互排斥的,并且只关注深度学习。然后,我们提出了在高风险可信 AI 系统交付的整个生命周期中使用 XAI 的建议,例如开发;验证/认证;以及可信的生产和维护。虽然我们的大多数示例和讨论都与健康和生物医学应用有关,因为它们对社会和经济影响巨大,并且有大量已发表的著作,但我们相信我们的建议与交付所有类型的高风险可信 AI 应用程序相关。
摘要 非技术损失 (NTL) 是许多公用事业公司试图解决的问题,通常使用黑盒监督分类算法。一般来说,这种方法取得了良好的效果。然而,在实践中,NTL 检测面临着技术、经济和透明度方面的挑战,这些挑战无法轻易解决,并且会损害预测的质量和公平性。在这项工作中,我们将这些问题置于为一家国际公用事业公司建立的 NTL 检测系统中。我们解释了如何通过从分类转向回归系统并引入解释技术来提高其准确性和理解力,从而缓解这些问题。正如我们在本研究中所展示的,回归方法可以成为缓解这些技术问题的一个很好的选择,并且可以进行调整以捕捉最引人注目的 NTL 案例。此外,可解释的人工智能(通过 Shapley 值)使我们能够在基准测试之外验证回归方法在这种背景下的正确性,并大大提高我们系统的透明度。
全球有超过5500万人受痴呆症影响,每年有近1000万例新病例,阿尔茨海默氏病是一种普遍且具有挑战性的神经退行性疾病。尽管对阿尔茨海默氏病检测的机器学习技术取得了重大进步,但深度学习模型的广泛采用引起了人们对其解释性的关注。在在线手写分析的深度学习模型中缺乏解释性,这在阿尔茨海默氏病检测的背景下是文献中的一个关键差距。本文通过解释应用于多变量时间序列数据的卷积神经网络的预测来解决这一挑战,该预测是由在图形平板电脑上手写的连续循环系列相关的在线手写数据生成的。我们的解释性方法揭示了健康个体和被诊断为阿尔茨海默氏症的人的不同运动行为特征。健康受试者表现出一致,平稳的运动,而阿尔茨海默氏症患者的表现出了不稳定的模式,其标记为突然停止和方向变化。这强调了解释性在将复杂模型转化为临床相关见解中的关键作用。我们的研究有助于提高早期诊断,为参与患者护理和干预策略的利益相关者提供了重要的可靠见解。我们的工作弥合了机器学习预测与临床见解之间的差距,从而促进了对阿尔茨海默氏病评估的高级模型的更有效和可理解的应用。
摘要:神经细胞的进行性变性会导致神经退行性疾病。例如,阿尔茨海默氏症和帕金森氏病逐渐降低了个人的认知能力和运动技能。借助治愈知识,我们的目标是通过诉诸康复疗法和药物来减缓其影响。因此,早期诊断在延迟这些疾病进展的过程中起着关键作用。发现针对特定任务的手写动力学分析被认为是提供这些分歧的早期诊断的有效工具。最近,引入了带有手写(Darwin)数据集的诊断阿尔茨海默氏症。它包含来自174名参与者(诊断为阿尔茨海默氏症与否)的手写样本的记录,执行25种特定的手写任务,包括命令,图形和副本。在本文中,我们探讨了降低维度,解释性和分类技术的Darwin数据集的使用。我们确定用于预测阿尔茨海默氏症的最相关和决定性的手写功能。从具有不同组的原始450个功能的原始集合中,我们发现了小的特征子集表明,执行空中运动所花费的时间是预测阿尔茨海默氏症的最具决定性的功能。
多年来,培养公众的 AI 素养一直是 CHI 日益关注的领域,并且围绕诸如教孩子如何构建和编程 AI 系统、设计学习体验以拓宽公众对 AI 的理解、开发可解释的 AI 系统、了解新手如何理解 AI 以及探索公共政策、道德和 AI 素养之间的关系等问题,正在形成一个庞大的社区。之前在其他会议(例如 SIGCSE、AAAI)上也举办过与 AI 素养相关的研讨会,这些会议主要侧重于将对 K-12 课堂环境中的 AI 教育感兴趣的研究人员和教育工作者聚集在一起,这是该领域的一个重要子领域。我们的研讨会旨在扩大范围,涵盖与在 K-12 教育中引入 AI 相关的 HCI 研究,以及更广泛地关注 AI 素养问题的人机交互研究,包括成人教育、在工作场所与 AI 的互动、了解用户如何理解和学习 AI 系统、为非专家用户开发可解释 AI (XAI) 的研究,以及与 AI 素养相关的公共政策问题。
