详细内容或原文请订阅后点击阅览
为什么您的A/B测试获胜者可能只是随机噪声
教练的热身试验可以教会我们进行更好的实验，这是为什么您的A/B测试获胜者可能只是随机噪音首先出现在数据科学上。
来源:走向数据科学最近，这确实是一个让我着迷的话题，这就是为什么我继续这样做的原因。
在今天的帖子中，我想通过使用虚构的例子来说明我想分享的内容，从而了解它如何影响我们的A/B测试。
是的，这将是基于足球的，但请与我在一起，因为这适用于可以进行A/B测试的每个领域（这就是存在的每个领域）。另外，最后，我试图概括它，因此我们不会一直在谈论足球。
希望您喜欢它！
令人惊讶的获胜
我们最喜欢的团队中有一位新教练，他喜欢数据。如此之多，以至于他做出的每个决定都是基于它的，而且没有一个没有信息。
球队以联盟最慢而闻名，这会带来可怕的后果：他们得到了最多的反击（以及这些情况的目标）。这就是他们输掉大多数比赛的主要原因，因为他们在战术上表现出色，但不能阻止那些快速休息。
因此，新教练非常有条理和经验丰富，认为良好的热身是使人们跑步更快的关键。但是他想证明这一点，他决定进行典型的A/B测试。
A/B测试很简单：将小队分为两组，其中一组像往常一样保持热身（A组），而另一组被指示新的热身程序（B组）。
仅四个星期后，B组的冲刺时间快8％。明确获胜？或者只是随机性。
就像猴子和打字机类比一样：与打字机一起收集无限数量的猴子，您可以肯定至少会想出iLiad。
因此，幸运的猴子实现了看似不可能的结果将被视为天才 - 但这很可能是纯粹的随机性。
在冲刺时间的8％改善的情况下，可能会发生同样的事情：教练可能会因为认为新的热身能够证明改进的正当性而被随机愚弄了（而无需进行任何其他检查）。
问题：随机噪声看起来像赢
某物看起来像“赢家”的东西可能只是随机噪音。