现在就应该避开的5个A/B测试误区

Print
A/B测试很好很强大,它易用,成本效益高,是测试想法非常有趣的一种方法。但在实际测试中,可能不是这样,特别是当你过于简化某些过程,省略特定的步骤并忽视考虑使A/B测试生效的第一步(足够的时间和样本大小)。即使是最好的测试人员有时候也会失败,当你从旁观者的角度来看某些情况时,很容易看到原因。
下面是企业使用A/B测试来了解目标受众偏好和需求时遇到的5个常见错误。
1.缩短A/B测试时间
测试需要运行足够长的时间来收集有价值的样本大小,统计置信度也需要时间来达到。在你确定最大多数人所在的地方之前,不要停下来。75%甚至85%似乎是绝大多数,但你会惊讶于事情改变如此之快。虽然A/B测试在许多方面像一个科学试验,但A/B测试的变量却更难控制。确保你的样本大小设置为至少1000位访问者,只有这样你每次测试的转化次数才会成比例提高。
2.测试点太模糊
当你在黑暗中射击时,虽然可能会击中,但这是一个可怕的方法,尤其是每开一枪都多花公司一份钱的情况。每个人都想知道什么能提高转化率,如果你小心谨慎并尝试它们,不仅会面临浪费整个测试的风险,而且你也无法学到任何东西。A/B测试应该围绕一个具体的理论来设计,并且需要你可以彻底的测量。不要做抽象的试验,即使它有效,你也不知道是为什么。
3.关闭失败的测试
你可能尝试了一个测试,发现它失败了,接着去做另一件事。这是你犯的最糟糕的错误。如果你发现第一次测试每次都失败,这并非你想象的那样不同寻常。测试失败后,应该检查数据,强化你的理论,调整你的观念,并发挥它的优势。你可能需要运行3个或5个,甚至10个测试。变量能让人们的态度每天每次都发生变化。如果你没有得到只有多个测试才能提供的全景图,你永远不会得到一致的介质。
4.运行多个测试
这是为什么叫A/B测试的原因:有一个选项A和一个选项B,总共有两个选项使这些测试如此有效。如果你引入了其他测试,你所做的是冒着让假阳性复杂化你的测试的风险。边距变窄,你的测试组同时暴露了太多的信息。随着你同时添加的每个测试,你降低了对试验的信心,并危及到测试结果。如果单独的A/B测试不能帮你得到你需要的,尝试多变量测试。
5.让它退出
你可以并应该在任何时候进行测试。如果你发现转化次数已经提高,并且测试成功,这很棒。你能做什么能让测试更成功?分析哪些因素与你的测试成功有关。围绕你的成功设计新的假设。测试小的变量,并跟随你的增益进入另一个世界。
最后,你的测试工具有多么出色并不重要,它没有思想家的头脑。你的分析驱动和创新,比宇宙最好的工具还要厉害。
使用A/B测试一定要避免这些常见错误。否则,你可能会浪费测试时间和金钱,并且不会带来任何有价值的见解。
把你的标准设置的高点,并努力到达结构良好,执行良好的A/B测试的底层。不用说,设计一个良好的A/B测试环境绝对值得你投入时间。
8751 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。