详细内容或原文请订阅后点击阅览
指标欺骗：当您的最佳 KPI 隐藏您最严重的失败时
最危险的 KPI 并未被打破；即使他们失去了意义，他们仍然是值得信赖的人。 后《指标欺骗：当你最好的 KPI 隐藏你最糟糕的失败时》首先出现在《走向数据科学》上。
来源:走向数据科学指标让混乱变得有序，或者至少我们是这么认为的。他们将多维行为总结为消费信号，将点击总结为转化，将延迟总结为可用性，将印象总结为投资回报率。然而，在大数据系统中，我发现最具欺骗性的指标是那些我们最倾向于庆祝的指标。
在一个例子中，数字营销活动效率 KPI 在两个季度内呈现稳定的积极趋势。它与我们的仪表板一致，类似于我们的自动化报告。然而，当我们监控转换后的销售线索质量时，我们意识到该模型过度拟合了界面级行为，例如软点击和 UI 驱动的滚动，而不是有意的行为。这是技术上正确的措施。它失去了对商业价值的语义依附。仪表板仍然是绿色的，但业务管道正在悄然被侵蚀。
优化-观察悖论
一旦确定了优化措施，它可能会被利用，不一定是由不良行为者，而是由系统本身。机器学习模型、自动化层甚至用户行为都可以使用基于指标的激励措施进行调整。系统对某种度量的调整越多，该度量就越能告诉您系统有多少能力最大化，而不是系统代表了多少现实。
我在内容推荐系统中观察到了这一点，该系统以牺牲内容多样性为代价来最大化短期点击率。推荐是重复的且可点击的。缩略图很熟悉，但用户使用频率较低。尽管产品深度和用户满意度有所下降，但 KPI 仍显示出成功。
这就是悖论：KPI 可以优化到无关性。这在训练界是一种推测，但在现实中却很薄弱。大多数监控系统并不是为了记录这种偏差而设计的，因为性能测量不会失败；他们逐渐漂移。
Facebook 2018 年的算法转变