人们经常宣扬“大数据”与人工智能 (AI) 的结合,认为将其应用于医疗决策时能带来宝贵的健康益处。然而,负责任地采用基于人工智能的临床决策支持系统在个人和社会层面都面临着多重挑战。其中一个特别令人担忧的特点是可解释性问题,因为如果医生不知道(或无法知道)算法得出特定输出的方式,则可能导致多重挑战,包括无法评估输出的优点。这种“不透明性”问题引发了人们对医生是否合理依赖算法输出的质疑,一些学者坚持可解释性的重要性,而另一些学者则认为没有理由对人工智能有要求,而对医生没有要求的东西。我们认为这两种观点都有可取之处,但我们发现,为了阐明可解释性在临床实践中的基本功能,从而阐明其在人工智能临床应用背景下的相关性,需要进行更深入的探讨。在本文中,我们通过研究可解释性在临床医学中的要求来探索可解释性,并区分可解释性对当前患者和未来患者的功能。这种区别对于可解释性的短期和长期要求具有影响。我们强调透明度在可解释性中的作用,并确定语义透明度是可解释性问题本身的基础。我们认为,在日常临床实践中,准确性足以作为临床决策的“认识论依据”,而要求可解释性(科学或因果解释)的最令人信服的理由是,通过建立更强大的世界模型,有可能改善未来的护理。我们认为临床决策的目标是尽可能多地提供最佳结果,并且发现——只要努力探索科学解释并继续改善未来患者的医疗保健,准确性就足以作为对当今患者进行干预的依据。
人们经常宣传“大数据”和人工智能 (AI) 的结合在应用于医疗决策时具有带来宝贵健康益处的潜力。然而,负责任地采用基于 AI 的临床决策支持系统在个人和社会层面都面临着若干挑战。引起特别关注的特征之一是可解释性问题,因为如果医生不知道(或无法知道)算法得出特定输出的方式,这可能会导致多重挑战,包括无法评估输出的优点。这种“不透明性”问题引发了人们对医生是否合理地依赖算法输出的质疑,一些学者坚持可解释性的重要性,而另一些学者则认为没有理由要求 AI 做医生不需要的事情。我们认为这两种观点都有可取之处,但我们发现,为了阐明可解释性在临床实践中的潜在功能,以及它在临床应用人工智能背景下的相关性,需要进行更细致的分析。在本文中,我们通过研究可解释性在临床医学中的需求来探索可解释性,并区分可解释性对当前患者和未来患者的功能。这种区别对可解释性的短期和长期要求具有影响。我们强调了透明度在可解释性中的作用,并认为语义透明度是可解释性问题本身的基础。我们认为,在日常临床实践中,准确性足以作为临床决策的“认识论依据”,而要求科学或因果解释意义上的可解释性的最令人信服的理由是通过建立更强大的世界模型来改善未来的护理。我们认为临床决策的目标是尽可能多地提供最佳结果,并且发现——只要揭示科学解释的努力继续改善未来患者的医疗保健,准确性就足以为当今的患者提供干预。
我们距离机器人在世界范围内的统治还有一段距离,但人工智能(AI)——利用大型数据集训练计算机系统做出决策和解决问题——正在彻底改变政府和社会的运作方式。人工智能具有巨大的潜力:加速创新、从数据中释放新价值,并通过将我们从单调乏味的任务中解放出来来提高生产力。人工智能可以从健康数据中得出新的推论,以促进癌症筛查的突破或改善气候建模和极端天气或紧急情况的预警系统。当我们寻求解决当今棘手问题(气候紊乱、社会不平等、健康危机)的解决方案时,人工智能将成为核心。它的核心地位要求利益相关者对人工智能进行更大的治理,并要求人工智能系统对其潜在危害负责,包括歧视性影响、不透明性、错误、不安全、侵犯隐私和剥夺权力。在此背景下,要求通过审计评估算法决策系统的影响并揭露和减轻相关危害的呼声日益高涨,同时算法审计行业和法律编纂也日渐兴起。这些都是值得欢迎的发展。审计可以提供灵活的共同监管解决方案,允许人工智能进行必要的创新,同时提高透明度和问责制。人工智能是威权国家和民主国家之间日益激烈的技术竞争的关键要素——确保人工智能负责任且值得信赖是确保民主优势的关键部分。值得信赖的人工智能的明确标准将有助于美国继续成为创新中心,并将技术塑造为民主价值观。然而,“算法审计”仍然定义不明确且不准确,无论是涉及社交媒体平台还是一般的人工智能系统。审计不充分会掩盖算法问题,风险很大
1.“人工智能的 FDA” 是一个直白的比喻。一个更有成效的起点是研究 FDA 式的监管干预措施,以及它们如何针对人工智能供应链中的不同点。2.FDA 式的干预措施可能更适合人工智能供应链的某些部分。3.FDA 模式为优化信息生产而非产品安全的监管设计提供了有力的教训。鉴于市场参与者缺乏明确性以及人工智能开发和部署的结构不透明性,人工智能迫切需要这一点。4.对什么算作功效(而不是安全性)缺乏共识是监管人工智能的有力切入点。人工智能总是存在潜在危害;因此,监管问题必须考虑其好处是否大于危害。但要知道这一点,我们需要明确的证据(目前我们缺乏这些证据)来证明人工智能技术带来的具体好处。5.上市前批准可能是监管干预最有力的阶段:这是监管权力与公司遵守激励之间的协调达到顶峰的地方。6.无论是在 FDA 还是在人工智能中,确保产品进入市场后的下游合规性都是一项监管挑战。鉴于人工智能系统组件的来源各异,上市后监管对人工智能来说是一项挑战,但目前这是正在进行的人工智能监管执法的主要特征。7.8.目前,“人工智能市场”的构成尚不明确且不透明。任何针对人工智能领域的监管干预要想有效,都必须远远超出目前的处罚标准,对世界上一些最大的公司进行有意义的挑战。提高市场本身的透明度以及人工智能产品的销售过程对人工智能治理至关重要。9.监管机构的资金模式对其有效性至关重要,并且可能无意中使监管机构受制于行业动机。10.FDA 式的人工智能文档要求已经是
关于人工智能 (AI) 影响的对话一直围绕偏见、监视和不透明性展开。然而,在气候紧急情况的背景下,我们需要进一步了解人工智能及其基础设施对环境的影响。人工智能生命周期的每个阶段都面临着复杂的挑战。制造人工智能硬件(如图形处理单元 (GPU))所需的矿产资源的开采会导致土壤破坏和水污染。存储大型数据库和运行算法所需的数据中心消耗了大量的能源和水。随着数据中心规模、数量和复杂性的增长,对能源和水的需求也在增加。此外,这些数据中心通过海底电缆网络连接,通过栖息地破坏或丧失、噪音和化学污染影响海洋环境。最后,居住在电子垃圾填埋场附近的当地社区面临着严重的环境和健康威胁,因为接触数字设备和微电子产品中所含的有毒元素会导致呼吸问题和神经系统疾病。本文邀请我们通过批判和跨学科的视角来拓宽我们对算法危害和抵抗的视野。本文以 Tsing 的“供应链资本主义”概念为基础,提出了一个理论框架来阐明人工智能行业的物质现实。这项技术被编织进资本、自然资源和人力的供应链中,而在之前关于其社会和伦理影响的辩论中,这一环节一直被忽视。鉴于目前生成性人工智能的激增——据估计它比传统的机器学习算法使用了更多的自然资源——我们必须更好地理解其生产机制的政治性。本文通过展示人工智能供应链的复杂、多样、不透明和全球结构,带我们踏上了一段人工智能行业的旅程。人工智能的供应链资本主义由大型科技公司与矿山、半导体工厂、数据中心、电子垃圾填埋场和运输公司共同策划。本文通过民族志之旅,更好地了解了如何从矿山开采硅等自然资源来制造 GPU。然后,GPU 被安装在数据中心,而数据中心又使用电力
将数据驱动的机器学习与先验知识结合起来具有明显的先进的医学图像处理和分析。深度学习,由大型数据集和强大的GPU驱动,在图像重建,分割和疾病分类等任务中表现出色。但是,这些模型面临着诸如高资源需求,有限的概括和缺乏解释性之类的挑战。相比之下,模型驱动的方法可以更好地概括,可解释性和鲁棒性,但可能缺乏准确性和效率。结合这些范式可以利用其优势,有望提高性能并提高诊断准确性。该研究主题展示了这种整合如何增强医学成像,包括准确的中风发作估计,改进了COVID-19的诊断和恢复评估以及增强的心脏成像技术。这些进步突出了提高诊断准确性,治疗计划和医学成像中临床决策的潜力。Gao等人开发了卷积神经网络(CNN)。使用计算机断层扫描和灌注加权成像,在6小时内识别6小时内的急性缺血性中风患者进行血管血栓切除术。该CNN优于支撑载体机和随机森林,证明了其使用CT和MR成像的准确中风发作时间估计的潜力。Huang等人的另一项研究。利用深度学习和CT扫描来评估6个月内Covid-19 Delta变体幸存者中的肺恢复。与原始的COVID-19菌株相比,在大多数情况下,发现地面玻璃的不透明性消失和轻度纤维化,以及肺预后的改善。在类似的脉中,Bridge等人创建了混合效应的深度学习模型。从CT扫描中诊断COVID-19,可实现高准确性和鲁棒性。在外部验证中具有0.930的AUROC,此模型
技术对商业世界的干预彻底改变了商业运作方式。今天,我们生活在数字经济中,并通过数字市场进行交易。商业世界的数字化使企业和消费者都受益匪浅。通过数字平台开展业务对企业来说既方便又便宜,同时也为消费者提供了大量购买商品和服务的选择。通过数字平台运作的数字市场的双重优势使数字经济前所未有地蓬勃发展。虽然商业数字化是好事,但也存在对消费者和竞争企业利益保护的担忧。虽然处理这些问题对任何竞争管理机构来说都不是什么新鲜事,但在数字市场中处理这些问题无疑是一项挑战。挑战在于数字世界从未涉足的领域。数字世界虽然很有吸引力,但并不能免受不公平商业行为的侵害。数字市场是商业数字化的结果,是一个新概念,具有传统市场中未知的独特特征。技术每时每刻都在更新,这使得研究这些市场及其对消费者、企业和整个经济可能产生的影响变得困难。这种不透明性为不公平行为的滋生提供了温床,使消费者处于弱势,并使企业之间现有的竞争变得不公平和不公正。传统市场被数字市场所取代,数字市场在复杂的网络效应和数据挖掘网络中运作。这些通过数字平台运作的市场同时涉及多个参与者,这使得竞争管理机构很难分析任何不公平商业行为的影响。确定市场支配地位及其对市场的不利影响的标准已经改变,使得传统工具无法有效遏制任何不公平的商业行为。技术融入我们日常生活及其无处不在的性质使数字市场反竞争行为的影响成为政府和政策制定者讨论的话题。政策制定者和各种组织正在进行大量研究,研究这些技术创新对市场及其经营方式以及消费者和其他竞争企业的负面影响。对这些市场运作的基本了解表明,现有的竞争制度及其执法工具在识别和
人工智能(以下简称“AI”)越来越多地出现在消费者的日常生活中,预计将为他们带来诸多好处。它可以为新产品和服务提供动力,帮助让日常生活变得更轻松、更轻松,例如通过个性化服务、增强现实应用、有助于更快检测疾病的人工智能医疗工具或自动驾驶汽车。然而,人工智能的广泛使用也给消费者带来了重大挑战和风险。其中一个关键问题是,如果出现问题,消费者因人工智能系统而遭受损失,谁来承担责任。由于人工智能的特殊性,例如其复杂性、不透明性、自主性,以及其生命周期中涉及的参与者数量,消费者将很难就人工智能系统造成的任何损害索取赔偿。消费者可能很难识别人工智能系统造成的损害,例如,由于人工智能系统的偏见标准而拒绝以较低的价格投保,消费者看不到这一点。消费者甚至可能不知道人工智能系统在特定决策中发挥了作用,并且是造成损害的原因。现行的欧盟产品责任指令 1(以下简称“PLD”)不适合应对包括人工智能在内的新技术带来的挑战。该指令于 1985 年首次通过,当时市场上的产品与今天的产品截然不同。为了解决这些问题,欧盟委员会于 2022 年 9 月发布了两项提案,以使欧盟责任规则适应数字环境:一项是修订产品责任指令 2 的提案(以下简称“PLD 提案”),另一项是使国家责任规则适应人工智能 3 带来的挑战的提案(以下简称“AILD 提案”)。BEUC 正在两份单独的立场文件中讨论这两个提案。本文重点介绍 AILD 提案。我们对 PLD 提案的立场可以在此处阅读。在这两份立场文件中,我们都提出了几项政策建议,以确保这两个提案创建一个连贯的法律框架,为消费者提供高水平的保护。
加拿大纽芬兰海岸。对所谓的费森登振荡器的研究一直持续到 1931 年,在此期间,频率从 540 Hz 增加到 1,000 Hz(Lasky,1977 年;Hackman,1984 年;Bjørnø,2003 年;Katz,2005 年)。第一次世界大战中,潜艇成为较弱海军强国的首选武器——用今天的话来说,这是一种“不对称威胁”——刺激了对水下潜艇的探测需求,而这些潜艇本来是隐形的(Cote,2000 年)。潜艇的隐蔽性和海洋的不透明性深刻改变了 20 世纪剩余时间的海战(Keegan,1990 年;Cote,2000 年)。由于声音是唯一能在水中传播可观距离的传输能量,因此必须利用声学回声测距来应对这一威胁。第一次世界大战后出现的最重要的回声测距系统是超声波 ASDIC,这是英国和法国海军合作研制的。ASDIC 是盟军潜艇探测调查委员会的缩写,该委员会在第一次世界大战期间成立,以开展潜艇探测研究。意大利也进行了类似的研究,美国的研究范围更为广泛。1918 年,法国物理学家 Paul Langevin 使用一种设计为以 38 kHz 机械共振的发射器演示了第一个 ASDIC 系统,并用它来估计目标距离和方位(Lasky,1977 年;Urick,1983 年;Burdic,1984 年;Hackman,1984 年;Bjørnø,2003 年;Proc,2005 年)。第一个 ASDIC 舰载系统于 1919 年安装,该系统有一个覆盖式圆顶,使系统可以在船舶移动时运行。工作频率从 20 到 50 kHz 不等。在 20 世纪 20 年代和 30 年代初,ASDIC 被开发用于驱逐舰的反潜战 (ASW)。两次世界大战之间的时期也是水下声学基础研究的时期。这一时期的一个关键发现是,水下较高频率的声音在穿过海水时,其振幅比较低频率的声音衰减得更大。基于这一观察,新型驱逐舰 ASDIC(119 型)的频率范围从
自 2018 年以来(4、5)。该系统名为 IDx-DR,在视网膜照相机 (Topcon NW400) 上运行,并利用 AI 算法分析眼睛图像 (6)。系统的输出是建议,当系统识别出超过轻度 DR 时,将患者转诊给眼科保健专业人员,或建议 12 个月后重新筛查。因此,它是第一款提供自主筛查决策的设备,已获得美国食品药品监督管理局 (FDA) 的市场批准 (5)。出于伦理考虑,这种 AI 辅助设备的一个新颖而独特的功能需要进行严格评估:IDx-DR 有意生成自主建议,这实际上是诊断,无需医生监督,尽管医生通常负责诊断。由于该设备已经投入商业使用,因此迫切需要澄清知情同意的伦理问题。迄今为止,“告诉患者什么”是根据美国和欧盟的法律分析进行讨论的(7-9)。但是,对于用于诊断 DR 的新设备,尚未对“如果 AI 参与诊断,信息处理中应包括哪些信息”这一伦理问题提供具体答案。伦理挑战源于黑盒算法的不透明性、训练数据中的潜在偏差、改善医疗保健与创造利润之间的紧张关系以及出现性能错误时的责任(10)。这些措施旨在改进信息处理并培养患者对 AI 系统的信任。为了缓解这些伦理挑战,有人尝试性地提议对医生进行有关人工智能系统的构建、其训练数据和局限性的教育,并制定超越法律要求的伦理准则 ( 11 )。然而,目前仍不清楚在初级保健环境中使用人工智能系统诊断 DR 的信息过程中应包括哪些具体信息。虽然评论者质疑是否必须从法律角度披露诊断人工智能的参与 ( 7 ),但本文作者认为,忽略这一事实是不道德的,因为这可能构成一种欺骗行为。本文的目的是制定一份清单,以在伦理上保障知情同意过程。我们以 IDx-DR 系统为例,介绍其他可用于诊断 DR 的商业化 AI 辅助工具,例如 2020 年 6 月获得 FDA 批准的 EyeArt(12 – 14)。