准确性已死：您实际需要的校准，歧视和其他指标

我们，数据科学家，最多，但也是最误导的。

很久以前，我们发现模型的开发不仅仅是做出预测。我们创建模型来做出决策，这需要信任。依靠准确性是不够的。

在这篇文章中，我们将了解原因，并将检查其他替代方案，以满足我们的需求。与往常一样，我们将按照实用的方法进行操作，并最终深入研究标准指标以外的评估。

这是当今阅读的目录：

设置ModelsClassification：超越准确性：高级评估说明

设置模型

分类：超越准确性

回归：高级评估

结论

准确性对于分类算法而不是回归任务更有意义……因此，并非所有问题都是平等衡量的。

这就是为什么我决定通过创建两个不同的模型来分别解决两个方案（回归和分类）的原因。

，他们将是非常简单的，因为他们的性能和应用并不重要：

分类：前锋会在下一场比赛中得分吗？回归：球员将得分多少进球？

分类：前锋会在下一场比赛中得分吗？

分类

回归：球员将得分有多少个目标？

回归

如果您是经常性的读者，我敢肯定，使用足球例子并不令人惊讶。

注意：即使我们不会在回归问题上使用准确性，并且认为这篇文章更加专注于该指标，但我也不想将这些案例抛在后面。这就是为什么我们也将探索回归指标的原因。

注释

再次，因为我们不在乎数据或性能，所以让我跳过所有预处理部分，直接进入模型本身：

您可以看到，我们坚持简单的模型：二进制分类的逻辑回归，以及提高回归的梯度。

我们需要做得更好。

真的 ROC-AUC r²