详细内容或原文请订阅后点击阅览
当 Shapley 值被打破时：稳健模型可解释性指南
Shapley 值是最常见的可解释性方法之一，但它们可能会产生误导。了解如何克服这些限制以获得更好的见解。《当沙普利价值观被打破：稳健模型可解释性指南》一文首先出现在《走向数据科学》上。
来源:走向数据科学人工智能的可解释性对于获得模型预测的信任至关重要，对于提高模型的稳健性也非常重要。良好的可解释性通常充当调试工具，揭示模型训练过程中的缺陷。虽然 Shapley 值已成为此任务的行业标准，但我们必须问：它们总是有效吗？关键的是，他们失败在哪里？
要了解 Shapley 值失败的地方，最好的方法是控制基本事实。我们将从一个简单的线性模型开始，然后系统地分解解释。通过观察沙普利值对这些受控变化的反应，我们可以准确地识别它们在何处产生误导性结果以及如何修复它们。
玩具模型
我们将从具有 100 个均匀随机变量的模型开始。
在这个简单的示例中，所有变量都是独立的，计算大大简化。
回想一下，Shapley 公式基于每个特征的边际贡献，即当变量添加到已知特征联盟时与不存在该变量时模型输出的差异。
\[ V(S∪{i}) – V(S)
\]
由于变量是独立的，预选特征（S）的具体组合不会影响特征 i 的贡献。预选特征和未选特征的影响在相减过程中相互抵消，对特征i的影响没有影响。因此，计算简化为直接测量特征 i 对模型输出的边际效应：
\[ W_i · X_i \]
结果既直观又符合预期。由于没有其他特征的干扰，因此贡献仅取决于特征的权重及其当前值。因此，权重和值组合最大的特征是最有贡献的特征。在我们的例子中，特征索引 0 的权重为 10，值为 1。
让我们打破现状
现在，我们将引入依赖关系来查看 Shapley 值在哪里开始失败。