模型治理(包括模型验证)是一门实践良好的学科。多年来,传统方法在业界发挥了良好的作用。这些方法通常涉及回溯测试、执行方法和文档审查、对模型进行基准测试以及进行定性评估等活动。此治理流程的核心部分是模型可解释性,其中了解确切的变量及其权重被视为关键。在新兴的人工智能 (AI) 和机器学习模型领域,理解模型组件通常非常困难,传统方法可能并不理想。这种被称为黑箱模型的新模型需要我们重新思考如何进行模型治理。本文提出了一个新的模型治理框架,它不依赖于了解模型内部的具体细节。这种方法可以使机构(尤其是受监管的金融机构)能够放心使用黑箱模型。
20 世纪 30 年代,Church 和 Curry 开发了 lambda 演算,这是一种表达高阶函数的形式化方法。简而言之,高阶函数是一种输入或输出“黑箱”的函数,而黑箱本身也是一个 (可能是高阶的) 函数。高阶函数是一种计算能力强大的工具。事实上,纯无类型 lambda 演算具有与图灵机 (Turing, 1937) 相同的计算能力。同时,高阶函数对程序员来说是一种有用的抽象。它们构成了函数式编程语言的基础,例如 LISP (McCarthy, 1960)、Scheme (Sussman and Steele Jr, 1975)、ML (Milner, 1978) 和 Haskell (Hudak et al., 2007)。在本章中,我们将讨论如何将高阶函数与量子计算相结合。我们认为这是一个有趣的问题,原因有很多。首先,高阶函数与量子现象的结合带来了纠缠函数的前景。某些众所周知的量子现象可以自然地描述为
与许多科学技术领域一样,人工智能 (AI) 目前在药物发现和药物化学领域备受期待。在这里,AI 主要指机器学习 (ML),它只是方法论 AI 频谱的一部分。对 AI 的高度兴趣主要源于使用多层神经网络 (NN) 架构的深度学习。进入药物化学的其他 AI 方法包括专家系统和(实验室)机器人技术。然而,深度学习显然占主导地位。值得注意的是,ML 在化学信息学和药物化学领域已有悠久的历史。二十多年来,ML 方法已广泛应用于化合物性质预测。在药物化学中,计算研究感兴趣的特性首先包括小分子的生物活性,也包括物理化学特性(例如溶解度)或体内特性(例如代谢稳定性或毒性)。预测此类特性旨在支持药物化学实践中的关键任务:决定下一步合成哪种化合物。多年来,NN(早期用于特性预测的流行方法)大部分已被其他 ML 方法(例如支持向量机、随机森林或贝叶斯建模)所取代。这主要是由于 NN 倾向于将模型过度拟合到训练数据,以及其预测的黑箱特性(黑箱也适用于其他(但不是全部)ML 方法)。在药物化学中,化学直觉继续发挥着重要作用,无法用化学术语解释的黑箱预测不利于 ML 在实际应用中的接受。最近,随着深度神经网络 (DNN) 的出现和对深度 ML 的高度期望,NN 在药物化学中经历了复兴。这些期望主要源自其他领域,例如计算机视觉(图像分析)、自然语言处理或网络科学(包括社交网络)。
摘要:机器学习和深度学习都是人工智能的一部分,对全球的市场营销和消费者产生了巨大的影响。然而,从神经网络发展而来的深度学习算法通常被视为黑箱,因为它们的网络结构和权重无法被人类用户解释。一般来说,银行业的客户有权知道他们的申请为何被黑箱算法的决策拒绝。本文提出了一种实用的嫁接方法,将全局模型和局部模型结合成可解释人工智能的混合模型。两个基于决策树的模型被用作全局模型,因为它们具有高度的可解释性,可以作为混合模型的骨架或蓝图。另外两个模型,包括深度神经网络和 k-最近邻模型,被用作局部模型,分别提高准确性和可解释性。实施了一个财务困境预测系统,以评估混合模型的性能和所提出的嫁接方法的有效性。实验结果表明,基于终端节点嫁接的混合模型可能会提高准确性和可解释性,具体取决于所选择的局部模型。
可解释人工智能 (XAI) 是机器学习的一个新兴研究课题,旨在揭示 AI 系统的黑箱选择是如何做出的。该研究领域研究决策制定中涉及的措施和模型,并寻求解决方案来明确解释它们。许多机器学习算法无法说明决策的方式和原因。目前使用的最流行的深度神经网络方法尤其如此。因此,这些黑箱模型缺乏可解释性,可能会削弱我们对 AI 系统的信心。XAI 对于深度学习驱动的应用越来越重要,尤其是对于医疗和医疗保健研究,尽管一般来说,这些深度神经网络可以在性能上带来惊人的回报。大多数现有 AI 系统的可解释性和透明度不足可能是成功实施和将 AI 工具集成到常规临床实践中并不常见的主要原因之一。在本研究中,我们首先调查了 XAI 的当前进展,特别是其在医疗保健应用方面的进展。然后,我们介绍了利用多模式和多中心数据融合的 XAI 解决方案,并随后在两个真实临床场景的展示中进行了验证。全面的定量和定性分析可以证明我们提出的 XAI 解决方案的有效性,由此我们可以设想在更广泛的临床问题中成功应用。
人工智能和机器学习 (AI/ML) 算法在医疗保健领域的发展日渐成熟,用于诊断和治疗各种医疗状况 ( 1 )。然而,尽管此类系统技术实力雄厚,但它们的采用却一直充满挑战,它们是否能真正改善医疗保健以及在多大程度上改善医疗保健仍有待观察。一个主要原因是,基于 AI/ML 的医疗设备的有效性在很大程度上取决于其用户的行为特征,例如,用户往往容易受到有据可查的偏见或算法厌恶的影响 ( 2 )。许多利益相关者越来越多地将预测算法所谓的黑箱性质视为用户持怀疑态度、缺乏信任和接受缓慢的核心原因 ( 3, 4 )。因此,立法者一直在朝着要求提供黑箱算法决策解释的方向发展 (5) 。事实上,学术界、政府和民间社会团体几乎一致支持可解释的 AI/ML。许多人被这种方法吸引,因为它既能利用不可解释的人工智能/机器学习(如深度学习或神经网络)的准确性优势,又能支持透明度、信任和采用。我们认为,这种共识至少在应用于医疗保健领域时,既夸大了要求黑盒算法可解释的好处,又低估了其弊端。
摘要:由于 FDA 最近批准全幻灯片图像 (WSI) 系统为 II 类医疗器械,病理学家正在采用全幻灯片图像 (WSI) 进行诊断。为了应对病理学以外的新市场力量和最新技术进步,计算病理学这一新领域应运而生,将人工智能 (AI) 和机器学习算法应用于 WSI。计算病理学在提高病理学家的准确性和效率方面具有巨大潜力,但由于大多数 AI 算法的不透明性和黑箱性质,人们对 AI 的信任度存在重要担忧。此外,对于病理学家应如何将计算病理学系统纳入他们的工作流程,人们还没有达成共识。为了解决这些问题,构建具有可解释 AI (xAI) 机制的计算病理学系统是一种强大而透明的黑箱 AI 模型替代方案。xAI 可以揭示其决策的根本原因;这旨在提高 AI 在病理诊断等关键任务中的安全性和可靠性。本文概述了 xAI 在解剖病理学工作流程中的应用,这些应用可提高实践的效率和准确性。此外,我们还介绍了 HistoMapr-Breast,这是一款用于乳房核心活检的初始 xAI 软件应用程序。HistoMapr-Breast 会自动预览乳房核心 WSI 并识别感兴趣的区域,以交互且可解释的方式快速呈现关键诊断区域。我们预计 xAI 最终将作为计算机辅助初级诊断的交互式计算指南为病理学家服务。
与此同时,所谓的机器学习的使用正在飞速增长。计算机处理能力的进步使得人们能够使用多年前发现的方法,例如深度学习、基于树的算法(决策树、随机森林和梯度提升机,例如最新、最强大的 XGBoost 和 Light GBM),以及结合机器学习模型输出的集成技术(例如 Stacking)。在信贷风险行业,使用机器学习技术进行模型开发受到了一定程度的质疑,尤其是从监管合规的角度来看,因为这些技术缺乏透明度,并且具有众所周知的“黑箱”效应。