详细内容或原文请订阅后点击阅览
如何为模型构建基准
建立基准和如何做的重要性是如何首先朝着数据科学构建基准。
来源:走向数据科学过去三年来我的科学顾问，我有机会从事各个行业的多个项目。但是，我注意到与我合作的大多数客户中的一个共同点：
他们很少对项目目标有清晰的想法。
这是数据科学家所面临的主要障碍之一，尤其是现在AI一代正在接管每个领域。
，但是让我们假设在来回一段时间后，目标变得清晰。我们设法将一个特定的问题弄清楚。例如：
我想根据他们的流失的可能性将我的客户分为两组：“搅动的可能性很高”和“搅动的可能性很小”
好吧，现在呢？简单，让我们开始构建一些型号！
错误！
如果有一个明确的目标是很少见的，那么具有可靠的基准甚至更罕见。
基准我认为，提供数据科学项目的最重要步骤之一是与客户定义并同意一套基准。
基准集在这篇博客文章中，我将解释：
- 什么是基准，为什么要有一个基准测试，我将如何使用示例场景和一些潜在的缺点来牢记
什么是基准？
基准是评估模型性能的标准化方法。它提供了一个可以比较新模型的参考点。
基准需要两个关键组件要完成：
- 一组指标，用于评估用作基线的简单模型集
概念的核心很简单：每当我开发一个新模型时，我都会将其与以前的版本和基线模型进行比较。这样可以确保改进是真实的和跟踪的。