A/B测试防爆指南

ab测试

A/B测试对无比强大,是任何营销、市场、运营的必备神器,它能让你做出数据驱动的决策并知道你的用户(访客)真正想要什么。

 

不幸的是,很多人的A/B测试会得到虚假的结果。

 

我不想你也像他们一样,所以做了这个防爆指南给你。收藏并仔细研读,那么今后的A/B测试就会更少失败,更多成功!

 

1.简单开始

快速取胜,召集你的同事,学习和调整你的流程,然后打开突破口。

 

例子:

 

在优惠,产品和着陆页上进行A/B测试(使其专注于收益而不是功能,简单,简洁)

 

移除关键页面和漏斗中的分心元素

 

2.总要有个假设

对于每个测试,根据基础理论要有以个基于数据的假设。

 

你可以用这种格式:通过{做某种改变},{KPI A,B}将得到{轻微/显著/巨大}改善,因为{理由(数据,理论,……)}。

 

另一种:

 

1.因为我们看到(定性和定量数据)

 

2.我们预期(变化)对(用户)将造成(影响)

 

3.我们希望在(x个业务周期)期间看到(数据指标的变化)

3.要有严格的流程

有一个严格的流程,具有清晰,可扩展和可重复的步骤。

 

分析数据

 

制定假设

 

优先考虑测试想法

 

启动测试

 

从结果中学习

 

跟你的的团队/主管/ IT 沟通学习和影响

 

重复

注意:没有严格的过程是大多数初学者常犯的错误之一。

 

4.有一个清晰的路线

定义什么才是成功,你的目标是什么,针对与你的业务目标一致的指标进行优化,并专注于最有影响力的。

 

在你的路线图中,应该有:

 

业务目标:你做网站的原因,简洁、简单、真实。

 

网站目标:你将如何通过你的网站实现这些业务目标

 

你的优先级是什么?找到最热门的网页,哪些有最大的改进潜力?

 

逐步规范转化漏斗,摩擦点在哪里?

 

关键指标:你如何衡量成功?

 

北极星:跟客户满意度相关的一个指标是什么?如果你专注于你的努力能保证成功吗?

 

5.确定测试的优先级

通过客观地考虑你的测试想法优先级,去掉你的自作聪明并集中精力于真正重要的。

 

每个测试将根据3个标准评级:

 

1.潜在收益(../10):这个(些)页面上有多少改进余地?

 

2.重要性(../10):这个(些)页面上的流量价值几何?

 

3.易于实施(../10):在你的网站上实施一次测试有多容易?

 

注意:如果确定不了焦点在哪?可以用 Brain Balfour 问题:

 

“由于我的资源有限,无论是人手,时间还是金钱,我现在能做的最有影响力的事情是什么?”

 

6.优化正确的KPIs

转化有两种类型:微观和宏观。确保两个同时跟踪,但针对宏观进行优化。

 

微观转化(点击,社交分享,邮件订阅,添加购物车……)是带来宏观转化的路径,这是影响你的底线(结账,免费试用……)的结果,换句话说,这是你网站的主要转化目标。

 

7.不要忽视小增益

如果你的网站已经不错了,就不会有太大的提升,但不要忽视小增益!

 

如果你每个月的成效提高了5%,年底的转化结果就会提高80%!

 

8.不要过早停止测试

如果你过早停止测试,则会得到无效的结果。不能根据虚假数据做出业务决策。

 

你可以在以下情况停止A/B测试:

 

每个版本的转化次数至少是200-300次

 

你的样本代表了整体受众的比例和组成

 

测试运行了至少2-3周(如果你需要延长你的测试,至少完成一周)

 

你的显著性水平至少是95%

 

你的转化率差异是稳定的

 

注意:一定不要太早停止测试

 

9.测试不停歇

没有运行试验的每一天都在浪费。

 

考虑到正确运行测试所需的时间,不要浪费,保持始终有个测试运行。

 

10.不要让测试运行太久

不要让你的测试运行太久,最终可能会得到错误的结果。

 

你的A/B测试方案使用的Cookies有一个有效期限。如果时间过长,就可能会把测试暴露给同样的一群人好几次。

确保在启动测试之前检查Cookies。

 

11.浏览器/设备兼容性

测试你的试验在各种设备和浏览器上的效果。

不要跳过也不要快速跟踪,你的A/B测试成功取决于你的变量正常工作。

 

12.警惕假阳性

每个测试都有一定的几率找到一个获胜的变量,即使它不存在。

 

不要对上次测试的胜者重复测试相同的元素,因为你会得到一个假阳性的结果。

 

我称之为“级联测试”

 

13.检查你的细分

始终分段你的A/B测试结果。

 

在特定分段内,一个成功的测试结果可能会忽略整体(不要忘了它也应该在统计上有效)。

 

14.变量太多

不要在此测试太多变量,因为这样你不会知道到底哪个因素引起了指针偏移。

如果你依然这么做,请务必逐一追溯测试的每个变量,以了解其对转化率的具体影响。

 

15.不要相信你的胆量(包括你的大脑)

我们受到一系列认知偏见的影响。自我意识会在我们大多数决定中有潜移默化的影响。

 

关注影响和所得,而非想法和活动

 

过去的结果不影响未来的概率

 

不要理所当然的采取任何决定,盘问每个想法

 

不要通过测试来确认你的个人信念,客观考虑优先级

 

不要从不完整数据得出结论

 

16.交叉检查你的数据

始终通过网络分析工具交叉检查你的数据/KPI/结果。

 

如果你的测试数据是错误的,你可能把一切都做的很完美,仍然会得到假数据。

 

17.不要忽视闪烁效应

注意不要让用户在访问页面时,同时看到控制和试验版本(闪烁效果)。

 

如果它很明显,下面是可能的原因:

 

网站加载缓慢(顺便说一句,这对UX和SEO也是非常不友好的)

 

在A/B测试工具之前加载太多脚本

 

测试与脚本工具产生冲突或禁用

 

没有把脚本放在页面上

 

18.同时进行多个测试

如果并行运行多个测试,请确保流量时均匀和随机分布的。

 

并且你有必要的资源来正确设置并从每个测试中最大化学习。

 

快乐测试!

 

装备这18般武艺,你会在A/B测试中无往不利。数据驱动营销是通往未来之路,但如果你做错了,就会造成虚假的数据驱动营销。

 

负责任地测试,严格测试,如果还有问题你打我。

 

https://blog.markgrowth.com/the-anti-fail-a-b-testing-cheatsheet-912134ff0db6#.ay7eau5xv

7542 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。