读懂A/B测试

A/B测试是任何数据驱动环境下的主要工具之一。你可以认为它是一个“斗兽场”,在这里不同的版本代表不同的战士,经过用户选择的角逐,挑选出最终的胜利者。

 

当然,网站上不会有流血牺牲,只会有更多的统计数据,但基本原则保持不变:不经过A/B测试,你永远不会知道那个版本能赢。

 

A/B测试让你能够同时比较同一个网页的多个替代版本,并了解哪些产生了最佳结果,例如点击率提高,参与度或任何其他指标。

那么A/B测试到底是什么?

A/B测试是一种进行实验的方法,通过随机分配给每个组一个特定的变量,将一个对照组与一个或多个测试组的性能进行比较。

 

首先,你决定做一个实验。也许你正在构建一个强制用户的应用,你打算在落地页上进行实验。想看看是否可以提高注册率。

目标网页的转化率为:注册访客数/访客总数

比如,今天有100人访问落地页,其中20个人注册,那么你的转化率就是20%。所有其他条件相同,转化率较高的落地页胜出。

构建对照

一旦决定要测试,必须构建对照,其中一种作为控制组,比如你当前的落地页,其他的对照跟控制组有所不同。下面是值得测试的元素:

布局,移动注册表单,添加字段,删除字段。

标题,添加标题,改变标题颜色,更改文案。

文字,对字体大小,颜色,位置和内容的更改。

 

你可以有尽可能多的对照,但为了更快得出数据,必须减少对照数量。

随机化控制手段

你不能在星期五发布一个目标网页,在星期六发布另一个目标网页,并比较转化率——没理由认为星期五和星期六的访客是一样的,事实上,他们不一样。

 

A/B测试通过并行运行实验以及随机分配访客来解决这个问题,这控制了变量对时间的敏感性,并按比例分配给不同的对照组。

数据案例

一个例子

假设我们有一个叫做“Foobar”的服务,并在落地页运行实验,目标是将转化率提高10%以上。当新访客到达落地页时,我们随机分配给他们3个版本中任意一个:控制组,对照组A,对照组B。

 

假设这几个版本是对标题的不同。比如,控制组标题可能是“Foobar is a great service ! Sign up here.”其中一个版本可能是“Foobar lets you stay in touch with family all across the country——easily.”

 

运行实验几天,得到以下数据:

AB测试

从以上数据可以得出版本B获胜,但你必须小心——如果转化率接近或你的样本量较小,你不能确定那个版本更好。比如,你能肯定的说,版本A比控制组更好还是吗?

样本大小问题

样本大小是接受该样本的人数,样本量越大,样本表现越能反应真实情况。

 

比如,假使上面的数据是下面的样子又如何?

现在那个版本更好呢?你可能会说,版本A更好,因为它的转化率更高。但这种情况就跟你觉得你抛一枚硬币3次,得到所有正面,就认为硬币经过特殊处理一样。

 

虽然这种情况有出现的可能,但可能性不大。样本量越大,你就越能确定你所观察到的效果是来自于版本的真正差异而不是纯粹的概率。事实上,这些结果都不是统计显著的,即它们可能样本的真实差异引起的。

 

由于样本会分配给不同的版本,因此主要有两种方法来增加样本大小:使用更少的版本或运行更长时间的实验。
本文由吆喝科技编译自:http://20bits.com/article/an-introduction-to-ab-testing

8492 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。