关于A/B测试每个人都应该知道的10件事

客户注意力的延伸和互联网竞争的加剧,使得转化率优化(CRO)成为了营销人的必备技能。转化率优化是数字营销战略最重要的方面之一,因为转化率是实际上与 ROI 相关的唯一可衡量指标。即使你对网站转化率的定义不是消费(比如关注简讯),转化率优化的规则依然适用。

 

不幸的是,当实施 CRO 计划时,你能从网上找到各种各样的资源,告诉你诸如改变按钮颜色,添加成功案例,简化网页内容,以及线上活动……停止这些疯狂举动吧!

 

在进行战术修复前,优化网页的转化率,你只需要做一件事—— A/B测试

 

虽然 Bruce Springsteen 在1992年靠忠诚的粉丝专辑销量获得了大飞跃,但它不会带来未来的成功(1992年, Bruce Springsteen 在解散东大街乐队的同时,推出了专辑《Lucky Town》和《Human Touch》,由于乐迷的支持,两专辑虽然没有以往那么火热,但还是如期所料登上排行榜)。因此,与其采取一套依靠忠诚度来提升转化的战术,不如使用网页分析技术洞察实时用户反馈。基于用户真实行为的实时用户反馈数据可用于优化网站的任何区域。还有什么能比这更好?

 

当然,你可能对用户更喜欢什么以及如何消费内容已经有了直觉,这些带给我们……

 

A/B测试规则1:忘记你以为你已经了解的客户的一切。

ab测试

人们很容易基于年龄、性别、位置或收入,试图对客户做一些假设。尽可能不要做这种假设!客户分析曾是定位目标客户的最好方式(唯一方式),没错,它在市场营销中依然有它的位置。然而,在数字时代,我们有那么多的选择!我们可以不必依靠细分来提供超个性化的体验。

 

人们很容易基于之类的东西年龄,性别,位置,收入或观众的假设。可能的情况下抵挡的诱惑!曾经有客户分析是目标客户的最佳方式(唯一方式)的时候;和,是的,它仍然有它的市场营销到位。

 

然而,在数字时代,我们有那么多的选择!不再做我们必须依靠细分,提供超个性化的体验。现在我们有能力把数字接触点的杠杆作为一个机会来了解每位客户的喜好。

A / B测试规则2:总是建立一个基线。

如果你和我一样,把提高转化率作为直接目标,并且非常着急。但是,开始一个高风险的A/B测试之前(或是低风险的A/B测试),提前预估时间来建立当前衡量的基准,如果你不知道当前的转化率是什么,你怎么能知道将来的测试怎么才算成功?(更多的请看规则5)

A / B测试规则3:对别人有效,并不意味着对你也有效。

如果转化率优化是一个重复的过程,每次每个网站都以同样的方式做优化,那就没有做测试的必要了。营销人都知道所有电子商务网站运作的方式,每个人都遵循相同的规则。很不幸,这是不可能的(千篇一律未免也太无聊了),这就是你为什么需要根据你特有的内容和受众必须进行A/B测试的原因。当然,你可以参考别人转化率优化的想法,但不要期望相同的结果。

 

举个例子,假设 ABC 公司销售鞋带, XYZ 公司销售企业软件,显然,即便有同样的客户,两家公司的购买周期看起来也是完全不一样。 ABC 公司发现,把 CTA (call-to-action)按钮从红色变为绿色能增加75%的销售,但是, XYZ 公司不太可能会遇到类似的结果。

A / B测试规则4:同一时间只测试一个变量。

这不言自明,在这里提及是因为它确实重要。运行试验的时候,同一时间只测试单一变量能让测试的结果具有可读性。如果你在更改标题的同时,对导航栏也做改变,你能知道那个变量促成了最多的转换吗?

 

专业建议:如果你在做标题测试,确保整个销售渠道的其余部分也用上测试标题,一致性有助于获取信任。

 

A / B测试规则5:达不到统计置信度,不算成功。

ab测试工具

A/B测试中的统计置信度是指,将来同样的测试再次运行,是可以预期到同样的结果的。换句话说,它告诉你你对测试结果的可信度有多大的把握。

 

比如你在购物车页面上运行A/B测试,其中版本 A 是用单选按钮,版本 B 用了下拉菜单,结果 B 版本产生了75%的转化率提升。显然,版本 B 胜出,对不对?

 

不尽然,还需要考虑下面的三个事实。

 

1.样本大小:上面的案例里,如果样本大小是4个人,这意味着只有3个人喜欢下拉菜单,当然,这个结果不错。但在1000个样本大小的情况下,能有这样结果的可能性极低。因此,这种结果是低置信水平的。

2.比例:A.B测试结果的准确性也取决于你的误差。如果样本大小为500人,99%的客户表示喜欢下拉菜单,你可以相当肯定你的误差较低。但51%的客户喜欢下拉菜单,49%的客户喜欢单选按钮的情况下,随机性造成了了比较大的误差,你应该继续运行测试,直至达到更高的置信水平。

3.受众规模:如果受众规模为250000,而你的样本大小为25,这同样会产生低置信水平的测试。

A / B测试规则6:先会走再会跑,不要本末倒置。

这条谚语在商业里得到了证实,A/B测试也不例外。随着客户观念和期望的演变,转化率优化的方式也在一直变化。你会犯一些错误,从错误中吸取教训,通过练习,最终会精通A/B测试之道。

A / B测试规则7:获得第二个意见,或第三个,第四个。

用户测试从未像现在这般重要,也从未如此简单。即使你没有昂贵的用户体验( UX )部门,也能获取一些免费和低成本的服务来动态提供可用性测试比如:

Peek User Testing:Peek 是收集网站定性反馈的非常简单,快捷的方式。

优点:信息反馈公正、详细,免费。

不足:测试目标受众之外的接口不总是有意义,此外,收集大量的反馈太过费时。

Amazon Turk:让你在短时间内收集到大量真实人群的反馈,通过定量研究的方法,比如调查

优点:价格便宜,可扩展,定量的,能提前选择测试人员的资格标准。

不足:通常是通过调查引擎进行,需要引入人工进行过滤。

底线:任何反馈比没有反馈更好!

A / B测试规则8:用户行为数据和客户调查数据可能会发生冲突。

调查在营销中有一定作用,但要意识到它可能不会如你的网站分析那样捕获真实的行为反馈。这是因为调查中的原始行为数据没办法排除人的偏见。

 

例如,假设你需要为马上进行的会议打印重要文件,打了几页你发现需要更换墨盒。如果现在问你怎么解决这种特殊情况?

 

在进一步阅读其他建议之前,请停下来想想你的诚实回答。

 

你可能会说换一个墨盒继续打印文件。如果这是一个调查,我接受这个作为你的答案。

 

在用户测试环境下,我发现你踢了打印机4次,清理了卡纸,然后按下取消键7次,最后才更换了墨盒。当整理文件的时候,你把咖啡洒在衬衫上,很沮丧的你,不得不重新安排会议。

 

在调查中你没有撒谎,毕竟,你更换了墨盒。但在这样的调查里,我会错过换墨盒之前和之后额外的所有行为数据。

A / B测试规则9:明确定义你的成功指标。

永远不要忘记你的最终成功指标。 转化率优化是关于转化率的,这不是关于打开率,点击率,微博,分享,或 pinterest 。除非,微博转发和贴图分享是你的网站的转化率。

 

底线:心中有一个目标,并围绕这个目标优化内容。所有的一切都是一切都是为了关键绩效指标(KPI)。

 

A / B测试规则10:不要做没有价值的测试。

网站优化工具

这句话可以追溯到直邮时期,对网络营销依然适用。避免测试对转化率提升作用不大的元素,用你的尝试,相信自己的直觉,关注最重要的测试。从485个实际测试意见里,挑选出最值得的一个。

奖金黑客

转化率优化不只是让更多人点击你的按钮,它是关于把正确的内容提供给正确的的受众,并鼓励他们在正确的时间点击正确的按钮。如果你对整个网站运行A/B测试,在数据的基础上优化,转化率依然低于期望,或许你的指标设定错了。

比如你在做杯装蛋糕的生意,网站转化率是2%,在这个案例中,对转化的定义为客户下订单购买蛋糕,哪有这几个问题需要考虑。

2%的转化率是基于所有网络流量吗?还是说只看点击“如何订购”页面?

通过点击“如何订购”页面的流量来源是什么?

最高的跳出率的流量是从哪来的?

最终转换的用户行为模式是怎样的?他们看了视频?浏览了你的照片库?阅读了客户推荐?

最后也是最重要的问题:我该如何使用这些数据来达成更好的结果?

通过切片这种方式切割你的网站分析数据,有几样事情可能会发生:

你可能会发现,需要改进自己的网站或搜索战略

你可能会发现你的转化率比你原先估计的要高。

无论哪种方式,这种练习能帮助你优化A / B测试日程。

最后要说

除了对访问速度和移动端适配这些基本功能做优化之外,转化率优化没有真理或密辛。唯一确定的方法就是跟受众一起来运行A/B测试,然后基于数据做改变。

 

本文由吆喝科技编译,转载请联系吆喝科技(微信 ID : appadhoc)

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

 

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

1417 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。