越来越复杂的学习方法(例如 boosting、bagging 和深度学习)使 ML 模型更加准确,但更难解释和说明,最终形成了黑盒机器学习模型。模型开发人员和用户通常都会在性能和可理解性之间做出权衡,尤其是在医学等高风险应用中。在本文中,我们提出了一种新颖的方法,用于在给定特定实例的情况下为通用机器学习模型的预测生成解释。该方法名为 AraucanaXAI,基于替代的局部拟合分类和回归树,用于提供通用机器学习模型预测的事后解释。所提出的 XAI 方法的优势包括对原始模型的卓越保真度、处理非线性决策边界的能力以及对分类和回归问题的本机支持。我们提供了 AraucanaXAI 方法的打包开源实现,并在 AI 的医疗应用中常见的多种不同设置中评估了其行为。这些问题包括模型预测与医生专家意见之间可能存在的分歧以及由于数据稀缺导致的预测可靠性低。
塞涅卡很早就通过其著名的“人有错”一文认识到,人类信息处理系统本质上是会出错的。较新的事实是,至少在时间压力下实现的感觉运动信息处理中,错误主要由几种(心理)生理特定机制处理:预防、检测、抑制、纠正,如果这些机制最终失效,则在错误发生后进行战略性行为调整。在本文中,我们回顾了实验室实验的几个数据集,结果表明,人类信息处理系统不仅能够在错误发生时检测和纠正错误,而且能够在错误完全发展之前检测、抑制和纠正错误。我们认为,当大脑在日常环境中工作时,考虑这些(心理)生理机制很重要,这样可以使工作系统更能抵御人为错误,从而更安全。