你知道这款数据驱动优化的利器吗?

A/B 测试是很强有力的数据驱动优化工具,希望这次分享可以给大家带来一些产品优化方面的启发。

什么是 A/B 测试

ab1

首先,让我们来看看什么是 A/B 测试。A/B 测试的本质是分离式的组间试验,也就是对于一个试验而言,存在对照组和试验组。通过改变某一个元素,保持其他元素不变,经过一段时间试验之后再来比较这两组的效果优劣。以前进行 A/B 测试的技术成本和资源成本都比较高,而现在一系列专业化的 A/B 测试工具都出现了,所以现在 A/B 测试的普及有了可能。

 

我们举一个简单的医疗产业的例子,他们一般使用 A/B 测试来进行新药的药效测试。比如将患者分为 A/B 两组,一组患者被分配新药,一组患者被分配外形几乎与新药一模一样的安慰剂,过一段时间以后我们来观察患者的康复情况,以患者的康复情况为指标来测试新药是否有效。这是 A/B 测试在医疗产业的一种应用,同样也可以用来解释什么是 A/B 测试。

为什么要使用 A/B 测试

那么为什么要使用 A/B 测试呢?因为目前来看,在传统的产品优化过程中存在以下四个问题:第一个问题是依靠经验主义进行决策,比如在设计新版本时,很多人会依靠产品直觉或是设计经验。然而单凭这些产品直觉和设计经验,会蒙蔽人的创新思维,不去考虑用户的反馈,甚至会造成内部员工的情绪矛盾,因为公司内部对产品有不同的意见,从而影响产品的健康发展,阻碍产品的增长。

 

第二点是后验导致开发成本非常高,现在很多企业已经开始关注数据对于产品的重要性,而他们采取的一般方式是先将产品进行发布,然后埋点采集数据,经过一段时间再来看产品是好是坏。但对于用户量很大的产品而言,如果不经过小流量测试直接上线的话,风险非常高,尤其是在中国产品同质化竞争非常严重的情况下,如果一旦改版失败,很可能造成用户流失,甚至使竞争对手从中获利。

 

第三个问题是,现在有很多人会忽视细节的改变。所谓细节改变指的是比如 UI 上的按钮颜色大小、图片大小、文案等,往往因为忽视了一些关键细节,而导致整个产品的表现不佳。尝试对刚才说的按钮、图片、文案等方面进行改变,也许就能得到意想不到的收获。

 

最后一点就是流程复杂周期长。现在的企业一般来说设计期有很多方案需要验证,而一般的做法是进行排期,先上线一个方案,再上线另一个方案。但其实很多方案对应的群体都是不一样的,一旦改版效果不理想,因长时间验证而导致的数据损失,可能是企业无法承担的。

 

而利用 A/B 测试,能很好的解决上面说的四个问题,这也是我们为什么要使用 AB 测试的原因。

ab2

A/B 测试其实是一种先验的试验体系,属于预测性理论,与后验的归纳性结论差别巨大。AB 测试的目的在于通过科学的试验设计、具有代表性的采样量本、采用流量分割以及小流量测试等方法,来获得具有代表性的结论,并确信该结论可以推广到全部流量并且可信。因此它具有以下三个特征:先验性、并行性,以及流量分配的科学性。

 

使用 A/B 测试最典型的两个公司是 Google 和 Facebook。Google 每年通过 A/B 测试找到十几个有效方案,这些方案大概能提升月营收数2%左右,对于它这样的体量而言,就是10亿元规模。Google 还有个很有趣的试验发现,就是广告位左移1个像素,能获得x%的营收,而左移2个像素,带来y%的亏损,这些细节都是通过 AB 测试发现的。而 Facebook 善于使用灰度发布这个模式,灰度发布是指用小流量来发布新版本,看是否存在 bug,以及一些指标是否存在异常,所以 Facebook 通过灰度发布获得了无 bug 的口碑。另外 A/B 测试在 Facebook 的增长黑客的过程中也起到了非常重要的作用。

A/B 测试能够帮助您优化什么

ab3

A/B 测试能够应用的范围非常广,包括产品 UI、文案内容、页面布局、产品功能,以及后端的推荐算法等等。

A/B 的应用场景

我们来看几个 A/B 测试的应用场景,分别是元素/控件层面、功能层面、产品层面和公司层面。

ab4

在元素/控件层面,我们想测试一个购买按钮颜色对转化率的影响。我们有 A、B、C 三个版本,一个原始版本,两个测试版本,原始版本的按钮是红色,测试版本我们想把它变成绿色和灰色。通过科学的流量分配,保证 A、B、C 三个组既能保证代表全用户特征,又保证每个组用户的相似度。而最终统计试验结果时,我们用95%置信区间进行估计,我们得到 B 版本的颜色有95%的可能性让平均点击提升27.4%,于是我们决策出 B 版本为最优版本,我们能够使用 B 版本。

ab5
功能层面,比如对于价格展示的例子,我们想知道哪种价格展示方式会更让人有购买欲望。是主要展示折扣力还是折扣价格呢,400美金的价格,是展示398,还是399会更受欢迎呢,这些都是 AB 测试解决的问题。进一步我们还可以使用受众定向这个功能,来分析出哪种方案对男性用户有吸引力,哪种方案对女性用户有吸引力,这些都是 AB 测试可以应用的方向和方法。

ab6

而产品层面,我们就要谈一下灰度发布这个功能。这里有个很典型的例子,一个 iOS 的 APP 在开发并测试完成之后,需要发布到 APP Store,通过大概7天的审核之后才能上架,用户才能使用到最新版本。如果上架之后用户安装到了有 bug 的版本,会造成很差的用户体验,以及很负面的影响。通常解决办法是,连夜修 bug,然后再次提交 APP Store审核,但这中间仍有7天审核期,也就是说用户在这期间还要持续使用有 bug 的版本大概一周左右,这样负面影响还要增加。通过 A/B 测试优化平台,提交 APP Store,如果发现审核的版本有 bug 的话,可以立即关闭有 bug 的版本,并且退回到原先的无 bug 版本,这样用户就是无感知的。因为首先是小流量的用户在使用这样一个功能,再者有一键关闭这个操作,对于开发者来说,有个非常充分的缓冲期进行 bug 修复,待 bug 修复完成之后再提交到 APP Store 审核,这样用户体验上的影响会降到最低。

 

灰度发布也是 AB 测试一个非常重要的应用方面。

ab7

在公司层面,我们还是要提到 Google。Google 可以说是有 A/B 测试基因的公司,它在很多地方都用到了 A/B 测试。举个例子就是 Google 很喜欢针对某个客户群体推出多款竞争产品,让客户来体验然后选出哪一款是他们真正喜欢的产品。比如即时通信解决方案,包括 Google talk、Google+、Messenger、Messaing,以及 Google Hangouts,最终 Hangouts 胜出,就是现在大家熟悉的环聊软件。

ab8

接下来我们看两个国际公司的例子。第一个是亚马逊,不知道大家有没有注意到亚马逊的加入购物车的按钮样式,是一个黄色底色黑色文字,同时这个页面还包括绿色的提示文字。这在我们看来是怪异难看的样式,经过反复的 AB 测试发现,这样搭配是客户购买转化率最高的一个按钮样式。同时他们发现黄色、橙黄色是 CTA 按钮点击率最高的按钮颜色,接下来是最引人注目的绿色。

 

下面这个例子是亚马逊信用卡的例子,最早信用卡广告放在购物页面内,几乎没有人去点击它,而且浪费了非常宝贵的广告位。当产品经理尝试把它放在结算页面,用户就发现了信用卡的好处, AB 测试的试验数据显示这个改变给亚马逊带来了每年上亿美元的营收增长。

ab9

另一个是 Airbnb 的例子。对于任何一个企业的决策者和产品经理来说,用户越多,产品复杂度越高,新版本制作的风险就会越大。以 Airbnb 的注册界面为例,先前的页面是将 Google 登录方式放在首位,接下来是 Facebook。但产品经理认为 Airbnb 与 Facebook 的用户拥有一定共同特征,于是新方案中他把 Facebook 登录按钮放在了第一位,结果上线之后发现,这个方案的转化率提高了10%。

 

同样的,Airbnb 通过 A/B 测试发现,根据不同地域的用户习惯进行优化是很有效的。他们发现在阿姆斯特丹和西班牙等地区的用户,会先浏览当地的美景图片,再进行注册。于是就有了这张图中最右边这个方案,这样的优化也为 Airbnb 带来了10%的注册转化率。

A/B 测试的实施流程

ab10

通过上面的案例介绍,我们可以看到 A/B 测试的基本实施流程就是:首先确定新方案,然后发布给部分用户进行试验,分为 A 版本和 B 版本。然后让这两个组的用户分别有平均的流量看到 A 版本和 B 版本,当然也可以不平均,这是由你来定的。经过一段时间之后,根据试验结果决定是发布新版本,还是回滚到老版本。

ab11

这里有高效的 A/B 测试的7条经验,是由微软的科学家提出来的,我重点讲几个。首先是效果惊人,某些微小的改动可能造成对 KPI 的巨大影响。其次是你很不同,各个产品几乎完全不同,所以复制他人经验往往得不到什么效果。以及快速轻量迭代,尽量不要做复杂的大量改动的大试验,而是分成很多个简单的小试验,累积起来你才能得到好的产品。最后是用户数量,只有几千上万的用户才容易展开高效的 A/B 测试,小的流量是没有什么效果的。

 

目前吆喝科技的 AppAdhoc A/B Testing 是国内唯一一家同时支持前端(Web/H5、iOS、Android)及后端(NodeJS、PHP、java、Python 等)A/B 测试工具,适用于从前端展示到后端算法的全方位的产品优化,下面我们来看我们吆喝科技的用户案例。

 

这两个案例也是从微小处入手来提高转化率,效果还是不错的。

ab12

先来看一个全球购的用户案例,他们通过改变某块区域的设计方案,对颜色、文本、大小等进行了改动,来判断新的方案在产品展示和购买转化率方面是否有所提升。我们来具体看一下。

为了提高用户对于整点抢购产品的关注,试验版本做了以下的改进,比如对 HOT 这块区域的颜色和尺寸进行了修改,以便更加吸引用户的关注。

试验结果是产品详情展示页提升了15%,抢购产品购买转化率提高了12%,而且从整体活跃及用户留存的角度来看也得到了很好的提升,这是从小切入的很好的一个 A/B 测试的例子。

ab13

这里还有另一个购物类应用的案例,和上面不一样,这个是通过改变 UI 的布局来判断新的布局是否能让用户触达这两块区域,最后对成交量或者转化率产生影响。

ab14

具体的,为了增加用户活跃,提升订单成交量,试验版本将左图中的附近「门店」和「我的」两个版块的位置放在了底部,并以悬停方式提升用户体验。这么考虑优化是因为之前附近商家的位置不是很明显,而且也想优化一下「我的」位置的放置。试验结果表明,新方案点进去的门店详情信息展示提升了24%,「我的」版块提升了17%,最终的订单成交量也提升了3%,这就是很好的用AB测试来判断不同布局的例子。

 

我们看到上面都是试验方案优于原始方案的情况,其实并不是试验方案一定会比原始方案好,只是这样设计代表了新的版本更加合理,对于这个产品而言。我们也会遇到原始版本比较好的情况,这时候就是要么再尝试新的方案,或者是先沿用老版本,直到有试验显示新版本优于原始版本,我们再使用新方案。

 

吆喝科技目前已经服务超过600家企业用户,月覆盖设备超过1.6亿,而累积运行的试验超过6000个。

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

5282 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。