使用神经影像数据的预测模型(预测性神经影像)来评估各种行为表型和临床结果的个体差异越来越受到关注。然而,该领域在结果的可解释性方面正面临挑战。迫切需要定义功能连接、区域和网络在预测模型中的具体贡献的方法,这可能有助于探索潜在的机制。在本文中,我们基于对 326 篇研究文章的调查,系统地回顾了用于解释来自预测性神经影像的大脑特征的方法和应用。我们还讨论了主要解释策略的优势、局限性和适用条件。深入讨论了现有文献中的常见问题并提供了相应的建议来解决这些缺陷。我们强烈建议在多个数据集和环境中对生物标志物的可靠性和可解释性进行详尽验证,这可以将神经影像学的技术进步转化为精准医疗的具体改进。
在临床人工智能(AI)中,图表表示学习,主要是通过图神经网络和图形变压器体系结构,其能力很突出,其能力捕获临床数据集中的复杂关系和结构。使用不同的数据(从患者记录到成像),通过将其中的模式和实体视为与他们的关系相互联系的节点,将AI模型整体地处理数据。图AI促进了跨临床任务的模型转移,从而使模型能够在没有其他参数的情况下在患者群体之间发电,并且最少到没有重新进行了。但是,以人为中心的设计和模型解释性在临床决策中的重要性不能被夸大。由于图形AI模型通过在关系数据集上定义的局部神经转换捕获信息,因此它们在阐明模型基本原理方面提供了机会和挑战。知识图可以通过将模型驱动的见解与医学知识保持一致来增强可解释性。新兴图AI模型集成了各种数据
在临床人工智能(AI)中,图表表示学习,主要是通过图神经网络和图形变压器体系结构,其能力很突出,其能力捕获临床数据集中的复杂关系和结构。使用不同的数据(从患者记录到成像),通过将其中的模式和实体视为与他们的关系相互联系的节点,将AI模型整体地处理数据。图AI促进了跨临床任务的模型转移,从而使模型能够在没有其他参数的情况下在患者群体之间发电,并且最少到没有重新进行了。但是,以人为中心的设计和模型解释性在临床决策中的重要性不能被夸大。由于图形AI模型通过在关系数据集上定义的局部神经转换捕获信息,因此它们在阐明模型基本原理方面提供了机会和挑战。知识图可以通过将模型驱动的见解与医学知识保持一致来增强可解释性。新兴图AI模型集成了各种数据
随着自主系统越来越多地部署在开放和不确定的环境中,人们对值得信赖的世界模型的需求越来越多,这些模型可以可靠地预测未来的高维度。世界模型中博学的潜在表示缺乏直接映射到有意义的物理数量和动态,从而限制了其在下游计划,控制和安全验证中的效用和解释性。In this paper, we argue for a fundamental shift from physically informed to physically interpretable world models — and crystallize four principles that leverage symbolic knowledge to achieve these ends: (1) structuring latent spaces according to the physical intent of variables, (2) learning aligned invariant and equivariant representations of the physical world, (3) adapting training to the varied granularity of supervision signals, and (4) partitioning生成输出以支持可伸缩性和可验证性。我们在实验上证明了每个原理在两个基准上的价值。本文打开了一些有趣的研究方向,以实现和利用世界模型中的全部物理解释性。关键字:世界模型,代表性学习,神经符号AI,可信赖的自主源代码:https://github.com/trustworthy-eentine-workineered-autonomy-lab/piwm-lab/piwm-principles
人工智能在使用医疗图像的医疗保健任务上表现出了有希望的表现。但是,有必要了解法律,道德和故障排除目的的AI模型的决策过程。本文档概述了可解释性工具箱的开发,该工具箱旨在提高手工制作的放射组学和医学成像中深度学习解决方案的透明度。对于手工制作的放射线学,该工具箱提供了用于生成Shapley添加说明,局部解释的模型 - 不合Snostic解释以及适用于任何机器学习模型的表征反事实的工具。为了深入学习,该工具箱提供了为2D和3D分类模型创建归因地图的功能,以及生成反事实图像说明的说明性示例。此外,工具箱还扩展了反事实框架以结合层的相关性传播,从而允许将临床变量纳入决策。最后,该文档展示了一个使用Python和简化构建的示例平台,该平台旨在在临床背景下验证这些解释,从而评估其在决策过程中的可用性和价值。可解释性工具箱可在以下链接中获得:https://github.com/zohaibs1995/radiomics_explainables_toolbox。
实例,在流行的生成图像工具(例如稳定扩散)中使用的扩散模型通过迭代精炼噪声创建图片,这与人类艺术家通常采取的过程完全不同。关键的研究挑战在于开发新的方法来弥合执行鸿沟(即,将AGI的丰富能力传达给最终用户,并确保在系统的意图方面清楚地说明其对系统的规格),例如,通过支持对agis执行任务的最终任务的手段的界面(例如,通过支持手段的范围),以及纠正了任务(即执行任务)。超出他们个人知识的限制)。的确,HCI社区要考虑的一个挑战是,在理论上,AGI系统及其足够先进的先驱在人体计算机互动中弥合海湾是不可能的[4]。例如,任何足够通用的AI系统都可能拥有几乎无限的负担,因此很难或不可能完全弥合执行的鸿沟;减去机械可解释性研究的重大进步,仍然不可能完全桥接该过程
抽象图神经网络(GNNS)是用于图形相关任务的强大工具,在进步的图形结构化数据中表现出色,同时保持置换不变性。然而,他们的挑战在于新节点表示的晦涩,阻碍了解释性。本文通过解释GNN预测来介绍一个框架,该框架解决了这一限制。所提出的方法采用任何GNN预测,为此,它将简洁的子图作为解释。利用显着性图,这是一种基于归因梯度的技术,我们通过通过反向传播将重要性得分分配给具有知识图的实体来增强可解释性。在药物重新利用知识图上进行了评估,图表网络的命中率为@5分为0.451,命中@10分数为0.672。图显示了明显的结果,最高召回率为0.992。我们的框架强调了GNN功效和可解释性,这在诸如药物重新利用之类的复杂情况下至关重要。通过阿尔茨海默氏病案例研究进行了说明,我们的方法为GNN预测提供了有意义且可理解的解释。这项工作有助于提高GNN在现实世界应用中的透明度和实用性。
结果:我们表明,我们的Enzbert Transformer模型通过蛋白质语言模型的专业化而受过训练,可预测酶佣金(EC)数量,仅基于序列而优于单功能酶类预测的最先进的工具。在EC40基准上的第二级预测EC数量的预测中,精度从84%提高到95%。为了评估第四级的预测质量,这是最详细的EC数字,我们构建了两个新的基于时间的基准测试,以与最先进的方法ECPRED和DEEPEC进行比较:Macro-F1分别从41%提高到54%,从20%提高到20%。最后,我们还表明,使用一个简单的注意力图与EC预测任务上的其他经典性方法相当,或者比其他经典性方法更好。更具体地,注意图鉴定出的重要残基倾向于对应于已知的催化位点。量化,我们报告的最高F-GEAIN评分为96.05%,而经典的可解释性方法最多达到91.44%。
摘要 - 研究CNN图像分类器预测和中间层代表的重要研究线,从人类可以理解的概念方面进行了反应。在这项工作中,我们扩展了文献中使用注释的概念数据集提取可解释的特征空间方向的先前作品,并提出了一种无监督的事后方法,以通过寻找特征空间的旋转来解释稀疏的单热阈值pixelivations of PixElivations的特征空间,以提取可解释的基础。我们对现有流行的CNN进行了实验,并证明了我们方法在跨网络架构和培训数据集提取可解释的基础方面的有效性。我们对文献中发现的现有基础可解释性指标进行扩展,并表明,当转化为使用我们的方法提取的基础时,中间层的代表变得更加可解释。最后,使用基本的可解释性指标,我们将提取的方法与我们的方法进行比较,并以监督方法得出的基础,发现在一个方面,提议的无监督方法具有构成受监督的限制并为未来研究的潜在方向构成限制。
世界各地的立法和公众情绪都将公平性指标、可解释性和可解释性作为负责任地开发道德人工智能系统的规定。尽管这三大支柱在该领域的基础中发挥着重要作用,但它们的操作性却具有挑战性,而在生产环境中解决这些问题的尝试往往让人感觉是西西弗斯式的。这种困难源于许多因素:公平性指标在计算上难以纳入训练中,而且很少能减轻这些系统造成的所有危害。可解释性和可解释性可以被玩弄以显得公平,可能会无意中降低训练数据中包含的个人信息的隐私,并增加用户对预测的信心——即使解释是错误的。在这项工作中,我们提出了一个负责任地开发人工智能系统的框架,通过结合信息安全领域和安全开发生命周期的经验教训来克服在对抗环境中保护用户所面临的挑战。具体来说,我们建议在开发人工智能系统的背景下利用威胁建模、设计审查、渗透测试和事件响应的概念来解决上述方法的缺点。