人工智能和机器学习 (AI/ML) 算法在医疗保健领域的发展日渐成熟,用于诊断和治疗各种医疗状况 ( 1 )。然而,尽管此类系统技术实力雄厚,但它们的采用却一直充满挑战,它们是否能真正改善医疗保健以及在多大程度上改善医疗保健仍有待观察。一个主要原因是,基于 AI/ML 的医疗设备的有效性在很大程度上取决于其用户的行为特征,例如,用户往往容易受到有据可查的偏见或算法厌恶的影响 ( 2 )。许多利益相关者越来越多地将预测算法所谓的黑箱性质视为用户持怀疑态度、缺乏信任和接受缓慢的核心原因 ( 3, 4 )。因此,立法者一直在朝着要求提供黑箱算法决策解释的方向发展 (5) 。事实上,学术界、政府和民间社会团体几乎一致支持可解释的 AI/ML。许多人被这种方法吸引,因为它既能利用不可解释的人工智能/机器学习(如深度学习或神经网络)的准确性优势,又能支持透明度、信任和采用。我们认为,这种共识至少在应用于医疗保健领域时,既夸大了要求黑盒算法可解释的好处,又低估了其弊端。