详细内容或原文请订阅后点击阅览
选择实验平台:回顾
我指导在 Eppo 和 Statsig 之间进行选择的方法以及吸取的经验教训《选择实验平台:回顾》一文首先出现在《走向数据科学》上。
来源:走向数据科学,在每家想要推出人们喜爱的产品的公司中,当“我们应该进行更多实验”变成“我们不能继续像这样进行实验”时。手动调整的保留; PM 和工程师之间往返的流量分配票;分析师的日历已经预订了几周。数据驱动的愿望超出了原本应该实现的机器的范围。
这就是我们去年在 ManyChat 上坐的地方。我们选择了 Eppo,但这个决定是故事中最小的部分,也是你最不能移植到你的公司的部分。相反,我想分享的是我到达那里所经历的过程,一路上我犯了什么错误,以及合同另一方令我惊讶的事情(是的,医生讨厌我这个伎俩)。
关于时间的说明。我们在行业异常激动人心的时刻选择了 Eppo,因为供应商地图正在我们的中期评估中发生变化。 Eppo 本身在几个月前就被 Datadog 收购了。 Statsig 最近被 OpenAI 收购,后来被出售给 Amplitude。我认为我下面描述的任何内容都不取决于特定的新闻周期,但我想承认,其中一些因素在我们做出决定时影响了我们的情绪。
我将接下来的内容分为三个动作:决策之前、决策过程中(做出决策)和决策之后。
之前
让我带你了解一下我们在一切发生之前的心情。当我加入公司时,一位工程师告诉我,如果有两个同时进行实验的机会,他的团队只会将第二个想法推迟到稍后的冲刺,因为配置两个分配的技术难题。犯错的风险最终超过了测试的兴奋。从字面上看,这就是:充其量是反速度;最坏的情况是没有实验。对于要配置的一项实验,复制粘贴样板分配逻辑是他们的面包和黄油。
