随着医疗信息系统 (HIS) 的不断发展,这些数据模糊了不同类别的受保护健康数据之间以及受保护数据与通过商业应用程序和服务收集的数据之间的区别。这种动态格局对全球健康信息生态系统提出了重大的伦理、技术和信息/数据治理挑战。明显的挑战是对个人隐私的侵犯,包括身份盗窃和数据分析的不透明性。数据存储库难以访问,无法验证和确认所用数据和算法的质量 [4, 5]。缺乏社区参与、信任和对人工智能的道德理解可能会扭曲立法和政策,并遭到社区的拒绝,从而阻碍数据科学和信息学的接受和发展 [6]。此外,尽管美国的《有意义的使用/促进互操作性》等严格法规,但大多数医疗软件行业仍难以遵守严格的网络安全标准以及信息安全管理和个人健康信息保护的强制性认证 [7]。我们的目标是为初级保健中常规收集的健康数据和人工智能的管理制定实用建议,重点是确保它们在当代健康实践中的使用符合道德规范。这对于综合健康实践非常重要,因为在这种实践中,数据的共享和分析远离数据创建和记录的地点。我们将数据管理定义为整个生命周期内的数据管理,从最初的收集和存储开始,供数据保管人使用,以支持护理服务,以及用于二次使用的分析和分类 [8]。
进入 HIS 后,这些数据模糊了不同类别的受保护健康数据之间的区别,以及受保护数据与通过商业应用程序和服务收集的数据之间的区别。这种动态格局给全球健康信息生态系统带来了重大的道德、技术和信息/数据治理挑战。明显的挑战是对个人隐私的损害,包括身份盗窃和数据分析的不透明性。数据存储库难以访问,无法验证和确认所使用的数据和算法的质量 [4, 5]。缺乏社区参与、信任和对人工智能的道德理解可能会扭曲立法和政策,并被社区拒绝,这可能会阻碍数据科学和信息学的接受和发展 [6]。此外,尽管美国有《有意义的使用/促进互操作性》等严格规定,但大多数医疗软件行业仍难以遵守严格的网络安全标准以及信息安全管理和个人健康信息保护的强制性认证 [7]。我们的目标是为管理日常收集的初级保健健康数据和人工智能提出切实可行的建议,重点是确保它们在当代医疗实践中的合乎道德的使用。这对于综合医疗实践非常重要,因为在综合医疗实践中,数据的共享和分析远离数据创建和记录的点。我们将数据管理定义为整个生命周期内的数据管理,从最初的收集和存储开始,供数据保管人使用,以支持护理服务,以及用于二次使用的分析和编目 [8]。
摘要:由于 FDA 最近批准全幻灯片图像 (WSI) 系统为 II 类医疗器械,病理学家正在采用全幻灯片图像 (WSI) 进行诊断。为了应对病理学以外的新市场力量和最新技术进步,计算病理学这一新领域应运而生,将人工智能 (AI) 和机器学习算法应用于 WSI。计算病理学在提高病理学家的准确性和效率方面具有巨大潜力,但由于大多数 AI 算法的不透明性和黑箱性质,人们对 AI 的信任度存在重要担忧。此外,对于病理学家应如何将计算病理学系统纳入他们的工作流程,人们还没有达成共识。为了解决这些问题,构建具有可解释 AI (xAI) 机制的计算病理学系统是一种强大而透明的黑箱 AI 模型替代方案。xAI 可以揭示其决策的根本原因;这旨在提高 AI 在病理诊断等关键任务中的安全性和可靠性。本文概述了 xAI 在解剖病理学工作流程中的应用,这些应用可提高实践的效率和准确性。此外,我们还介绍了 HistoMapr-Breast,这是一款用于乳房核心活检的初始 xAI 软件应用程序。HistoMapr-Breast 会自动预览乳房核心 WSI 并识别感兴趣的区域,以交互且可解释的方式快速呈现关键诊断区域。我们预计 xAI 最终将作为计算机辅助初级诊断的交互式计算指南为病理学家服务。
摘要 法律裁决者和行政决策者做出的决策通常基于大量储存的经验,从中可以提取隐性的专业知识。这种专业知识可能是隐性的和不透明的,甚至对决策者自己来说也是如此,并且在将人工智能应用于法律领域的自动决策任务时会产生障碍,因为如果人工智能决策工具必须建立在领域专业知识的基础上,那么不透明性可能会激增。这引发了法律领域的特殊问题,这需要高度的问责制,从而需要透明度。这需要增强可解释性,这意味着各种利益相关者都需要了解算法背后的机制,以便提供解释。然而,一些人工智能变体(如深度学习)的“黑箱”性质仍未解决,因此许多机器决策仍然知之甚少。这篇调查论文基于法律和人工智能专家之间的独特跨学科合作,通过对相关研究论文进行系统调查,对可解释性范围进行了回顾,并对结果进行了分类。本文建立了一种新颖的分类法,将特定法律子领域中发挥作用的不同形式的法律推理与特定形式的算法决策联系起来。不同的类别展示了可解释人工智能 (XAI) 研究的不同维度。因此,该调查通过结合法律逻辑中的异质性,摆脱了先前单一的法律推理和决策方法:这一特征需要详细说明,在为法律领域设计人工智能驱动的决策系统时应予以考虑。因此,希望行政决策者、法院裁判员、研究人员和从业者能够对可解释性获得独特的见解,并利用该调查作为该领域进一步研究的基础。
使用历史数据训练数学结构,以对世界的不确定状态做出预测。例如,基于大量标记图像,深度卷积神经网络可以学习对疾病的存在做出高度准确的个体层面预测。这包括预测 COVID-19 阳性患者(Shi 等人,2020 年)。虽然高度准确的预测本身对于基于事实的决策至关重要(即使是从字面意义上讲也是关于疾病检测),但最先进的机器学习模型的高预测性能通常是以牺牲其输出的透明度和可解释性为代价的(Voosen,2017 年;Du 等人,2019 年)。换句话说:大多数高性能机器学习模型的特点是无法传达人类可解释的信息,说明它们如何以及为何产生特定预测。因此,此类机器学习应用对于人类用户甚至专业设计师来说通常都是完全的黑匣子,他们往往不了解决策关键输出背后的原因。从方法论的角度来看,无法提供与具体预测相符的解释会导致三类高级问题。首先,被忽视的不透明性会立即导致缺乏问责制,因为它妨碍了对此类系统预测的审计。这一缺陷引发了人们对黑箱社会兴起的担忧,组织和机构中不透明的算法决策过程会带来意想不到的和未预料到的下游后果,从而使情况变得更糟(Pasquale 2015;Angwin 等人 2016;Obermeyer 等人 2019)。其次,利用人工智能提高经济效率和人类福祉的潜力不仅限于通过预测为特定决策提供信息。揭示隐藏在复杂大数据结构中的新领域知识
摘要:自主人工智能(以下简称 AI)应用具有非凡的能力,可以彻底改变我们的日常生活。尽管如此,在它们的运行过程中,已经观察到许多侵犯人权的事件,从而危及公众的接受度和进一步发展。造成这种情况的主要原因在于自主 AI 系统固有的不透明性,这构成了所谓的黑箱问题或黑箱效应。为了消除这种影响,科学界经常建议“透明度”应该是实现这一目标的适当工具。事实上,在 21 世纪,关于 AI 透明度主题的学术研究数量迅速增加,甚至敦促欧洲立法者采用有关高风险 AI 系统透明度的协调法律规则等。尽管如此,透明度的语义背景尚未得到充分定义,其可能产生的负面影响也未得到深入探究。因此,人们对人工智能透明度的有效性表示担忧。然而,这些担忧并没有降低透明度对人工智能未来的重要性;它们实际上提出了一种让科学界看待人工智能的不同方式。也就是说,考虑到人工智能从定义上来说是一个多学科领域,由计算科学和认知科学组成,其透明度应该具有双重含义:首先是字面含义,与自主人工智能系统中决策程序的技术性相对应;其次是比喻含义,指充分理解这一程序结果的必要性,更重要的是,指人类有权事前或事后反对自主人工智能系统做出的决定。因此,在人工智能中嵌入透明度应该考虑促进人机交互和人机指挥的方法,而不是仅仅关注人机交互的方法。
使用历史数据训练数学结构,以对世界的不确定状态做出预测。例如,基于大量标记图像,深度卷积神经网络可以学习对疾病的存在做出高度准确的个体层面预测。这包括预测 COVID-19 阳性患者(Shi 等人,2020 年)。虽然高度准确的预测本身对于基于事实的决策至关重要(即使是从字面意义上讲也是关于疾病检测),但最先进的机器学习模型的高预测性能通常是以牺牲其输出的透明度和可解释性为代价的(Voosen,2017 年;Du 等人,2019 年)。换句话说:大多数高性能机器学习模型的特点是无法传达人类可解释的信息,说明它们如何以及为何产生特定预测。因此,此类机器学习应用对于人类用户甚至专业设计师来说通常都是完全的黑匣子,他们往往不了解决策关键输出背后的原因。从方法论的角度来看,无法提供与具体预测相符的解释会导致三类高级问题。首先,被忽视的不透明性会立即导致缺乏问责制,因为它妨碍了对此类系统预测的审计。这一缺陷引发了人们对黑箱社会兴起的担忧,组织和机构中不透明的算法决策过程会带来意想不到的和未预料到的下游后果,从而使情况变得更糟(Pasquale 2015;Angwin 等人 2016;Obermeyer 等人 2019)。其次,利用人工智能提高经济效率和人类福祉的潜力不仅限于通过预测为特定决策提供信息。揭示隐藏在复杂大数据结构中的新领域知识
1. 简介 想象一下,你生活在一个不公正的社会,这个社会的成员都是值得信赖、无所不知、异常直率的预言家。你问预言家你的社会是否会公正,并被告知你生活在幸运的时代:在未来五年内,全面的制度变革将使你的社会变成一个公正的社会。五年过去了,确实发生了全面的制度变革。由于你的预言家是值得信赖的,所以你知道你的社会现在是公正的。但你不知道为什么它是公正的,因为事实证明,正义是通过开发和实施一个集中的算法决策系统来分配利益和负担、执行法律等来实现的。这个系统太复杂了,你——或者除了预言家之外的任何人——都无法理解它的底层结构或它做出的决定。计算机科学、法律和哲学领域关于人工智能可解释性的新兴文献集中于解释人工智能的能力具有工具价值的各种方式。例如,可解释的人工智能被认为对追索权或对决策提出异议很有价值,这两者都是机构合法性和公平性的必要条件(Ventkatasubramanian 和 Alfano 2020;Vredenburgh 2021)。从该文献的角度来看,你相信神谕是无所不知的,那就错了。如果你的社会确实因其不透明性而令人反感,那么它一定是不公正的。然而,我想让你假设一下,想象中的社会确实是完全公正的。你是否仍然直觉地认为上述社会在某种程度上令人反感?我想很多人都这么认为。我将从解释的非工具价值的角度来解释和捍卫这种直觉。对组织和社会机构的结构和运作的解释具有非工具价值,因为它们构成了反思澄清我们每个人都不得不对自己的全面实践取向的基础。
1. 简介 想象一下,你生活在一个不公正的社会,这个社会的成员都是值得信赖、无所不知、异常直率的预言家。你问预言家你的社会是否会公正,并被告知你生活在幸运的时代:在未来五年内,全面的制度变革将使你的社会变成一个公正的社会。五年过去了,确实发生了全面的制度变革。由于你的预言家是值得信赖的,所以你知道你的社会现在是公正的。但你不知道为什么它是公正的,因为事实证明,正义是通过开发和实施一个集中的算法决策系统来分配利益和负担、执行法律等来实现的。这个系统太复杂了,你——或者除了预言家之外的任何人——都无法理解它的底层结构或它做出的决定。计算机科学、法律和哲学领域关于人工智能可解释性的新兴文献集中于解释人工智能的能力具有工具价值的各种方式。例如,可解释的人工智能被认为对追索权或对决策提出异议很有价值,这两者都是机构合法性和公平性的必要条件(Ventkatasubramanian 和 Alfano 2020;Vredenburgh 2021)。从该文献的角度来看,你相信神谕是无所不知的,那就错了。如果你的社会确实因其不透明性而令人反感,那么它一定是不公正的。然而,我想让你假设一下,想象中的社会确实是完全公正的。你是否仍然直觉地认为上述社会在某种程度上令人反感?我想很多人都这么认为。我将从解释的非工具价值的角度来解释和捍卫这种直觉。对组织和社会机构的结构和运作的解释具有非工具价值,因为它们构成了反思澄清我们每个人都不得不对自己的全面实践取向的基础。
实用量子计算机的潜在出现引导了对其潜在应用的研究,特别是在人工智能领域。受深度神经网络在经典机器学习中成功的启发,人们普遍希望这种成功将转化为所谓的量子变分算法或受其经典算法启发的量子神经网络。当代深度学习算法主要使用一系列启发式方法开发,这些启发式方法通常缺乏严格的证明来证明其有效性。由于这些算法的不透明性,对其性能提供明确的保证仍然是一项艰巨的挑战。虽然这种复杂性延伸到深度学习的量子类似物,但越来越多的文献已经确定了一套理论工具,以更好地理解经典机器学习模型在现实世界任务中如此有效的原因。我们使用这些工具来研究这些量子类似物,以部分解决何时以及在什么条件下我们可以预期成功的问题。我们主要通过统计学习理论、量子力学、随机矩阵理论和群论中的工具来研究量子机器学习算法的可学习性。我们的研究结果表明,必须仔细考虑量子机器学习算法的设计,才能取得合理的成功。事实上,我们的一些结果表明,量子机器学习中的随机或非结构化方法容易面临各种挑战,包括与可训练性相关的问题或与最佳经典算法相比缺乏显著优势的问题。在整篇论文中,我们提供了几个例子,说明如何将结构引入这些算法中,以部分解决这些问题。此外,我们还探讨了量子计算如何为经典机器学习提供信息和增强的反向问题。我们研究了将酉矩阵合并到经典神经网络中,从而为这些酉神经网络提供更高效的设计。