A/B测试有什么局限性

1-u-oo-ja5gxd3bycnguyydq
我以前在一家公司工作,它把A/B测试用于优化初始转化漏斗,用户优化销售,成效显著。实际上A/B测试已经是验证所有事实的实际方式。
客户喜欢小狗还是小花?点击大按钮还是小按钮?蓝色还是橙色按钮更好?我们午餐应该吃鸡肉还是小牛肉?(好吧,也许最后一个不能进行A/B测试)
A/B测试是所有产品创新的主要驱动力。如果你不能创建一个小测试来验证是否需要一个更大的解决方案,那么创建更大的解决方案也很难。
起初,这听起来像是一个公平的建议:如果你不能证明花在某事上的时间是值得的,那么为什么应该追求呢?但是,当你进一步调查,这个论点有时是有缺陷的。
什么时候适合做A/B测试?
你喜欢A/B测试,我喜欢A/B测试,每个人都喜欢A/B测试!但是,A/B测试也不是解决所有问题的黄金方案。
当你测试类似解决方案的变体,并且有一个或多个能明确指出成功或失败的指标时,就很适合做A/B测试。
漏斗优化是最明显的例子。你可以在某个地方更改标题,并可以即时衡量是否有更多人进入漏斗,是否有更多人在漏斗结束时进行转化,以及最终结果是否会产生更高的生命周期价值。
这是一个简单的例子,A/B测试当然也可以被用于更复杂的解决方案。
注意:为了从A/B测试中学到真东西,而不仅仅是变量A击败变量B的信息,所有的变量都应该基于假设。
那么什么时候不适合做A/B测试?
当你面对一个复杂的问题,或任何时候你想为未来做好准备,那么A/B测试就不是很适合的工具。
举几个例子。
任何东西的第一个新版本都会有基本缺陷
你不能A/B测试原始的创新解决方案,因为如果它是真正的创新和原创,那么你可能会犯初始的基本错误,让测试产生负面效果。因为新的路径是未知的,你不知道这方面的常见错误。即使测试是积极的,你也不知道为什么。
此外,如果你只改变一部分的体验,以适应新的流程(这样的测试很容易创建),你永远不会知道失败是否是由于新想法不成熟,或者它根本没有实现你在一开始所设想的完整可用性。
A/B测试找不到更高的山
你可以用A/B测试让你在已经到达的山上越来越高,但你不能用它来发现一座新的山脉。如果你的产品真正需要的是一个完整的改造,那么A/B测试可能做不到。
A/B测试具有复杂差异的两个解决方案不会提供任何新的见解
在这个阶段,用户测试比A/B测试更重要。你想知道每个解决方案中的问题和优势的确切位置,并获得关于改进的具体想法,而不仅仅是A好还是B好。
非漏斗的影响需要很长时间才能测量
假设你调整了产品的一部分,用户测试表明,新的方案非常有效。如果你做一个A/B测试,在初始差异的转化或销售的增长上没任何发现,那么还值得吗?它可能还是很好,如果你真的改进了产品,它应该显示更高的留存和生命周期价值,但这些 KPI 需要长时间和非常大的数字来可靠地测试。
在漏斗早期,你的营销登陆页面上有大量参与者,但是你的应用程序的特定子部分是否真的有足够多的流量来衡量有效时间段内的任何内容?除非你是 Facebook,但你不是。
A/B测试可能让你忘记大局
我知道所有的A/B测试人员不屈服于这个问题,但我已经看到它发生了,所以我要提到它:不断地关注A/B测试有时使人们只看到焦点。当然,短期一切看起来不错,但如果你不抬头,不计划前进,你会被明天的公共汽车超越。
正如我前面所说,我喜欢A/B测试,但是像任何工具,你必须知道什么会限制它的使用。
以上种种,有理有据的论断都很对。但我以为,真正限制A/B测试使用的,不是研发能力,也不是测试的具体场景,而是应用测试的人。
还是拿例子来说,Airbnb在遇到发展瓶颈时,是通过A/B测试来发现增长破局点的,所以A/B测试也是能帮我们找到更高的山峰的。关于大局观,这是产品经理和增长运营必须要有的意识,在这种意识的驱动下,你再去选择或判断优先验证那个假设,而不是被A或B所局限。无论是小流量还是大流量,都可以进行A/B测试,区别在于测试周期以及测试变量的多少,Google的流量允许它进行多变量测试,而刚上线的产品你就乖乖的用A/B测试来验证高优先级的假设就好了。A/B测试涉及到统计学和数据分析,而在统计学上,有很多一不小心就跳进去的坑,譬如流量分配,譬如辛普森悖论,譬如……这要求使用A/B测试的人不光有数据意识,还要有统计学知识来丰富自己的技能库。
最后的最后,还是要强调一遍,真正限制A/B测试的,是用A/B测试的人。
7795 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。