AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

哪个是你的菜?一个按钮带来流量巨变

2016年5月,许多国外网友发现,在用谷歌在搜索页面时,部分用户的链接颜色从蓝色变为黑色,而以往的链接是蓝色。事实上,这是谷歌在在对页面设计进行测试,这种测试谷歌每天都会有大量在同时进行,潜移默化的影响着用户习惯。前谷歌设计师Doug Bowman在2009年离职时的一份公开声明中证实,一次设计师不能在两种颜色中做出取舍时,他们测试了41种不同深浅的蓝色。

一个按钮的改动就将会影响引流效果,如今的A/B测试已经是众多公司的增长利器,一个完整的A/B测试在开始之前要确定实验方案、关键优化指标、试验样本数量(基于样本计算器)、适当的试验天数以及业务层面的流量分配逻辑。

假设我们自己作为项目负责人,正在讨论采用哪种icon样式作为分享按钮:

23

上述四种图标都是用来表达分享、转发的。但是到底哪一个类型的icon是最能引起消费者注意的呢?如果我们能找出大多数用户都喜欢的icon样式,是否就可以大幅提升分享转化率呢?

某天气APP就真的为了这个事儿做了一回A/B测试。借助热云数据A/B Testing平台,他们设计了一套测试方案:分别将主页面的分享按钮用四种不同形状来表示不同的指标,并据此分配了4个试验版本(包含原始版本),试验设计方案如下图,准备以点击率作为此次测试试验指标。

24

试验方案(上图)

UI、文案的改变一般对用户影响降到较小,所以可以均匀分配流量,并以7天为测试周期。该方案的A/B测试实现方式:

编程模式:

测试指标采集更全面,可以对推荐策略等服务端数据做测试,需要适当代码埋点

1.集成SDK:在APP源代码中,集成对应的移动端SDK。用户需要在某次APP迭代时,将移动端的SDK和需要进行测试的元素(4种不同的分享icon)一并集成到代码当中,在进行AB测试时,根据样本的分流结果来展示相应的icon样式。

2.优化指标:将sharebutton(分享按钮)作为本次AB试验的优化指标。

25

3.创建版本:根据不同的icon样式(变量)来分配版本。

26

4.其他配置:均匀分配流量,配置受众条件。

5.运行试验。

可视化模式:

只能对UI界面进行测试,操作简单,技术难度低。

在已经集成了移动端SDK后,又不想频繁发版来进行A/B测试的话,可以选择移动端可视化试验。在用户页面直接操作,点击即可替换目标icon,一样也可以实现上述方案,而且指标只需要绑定一次即可,省去了重复发版的繁琐操作。

27

移动端可视化编辑器(上图)

在试验运行了一段时间后(至少运行7天),试验版本2的转化率明显优于原始版本和其他试验版本,至此,我们可以初步得出结论:试验版本2的【转发】转化率相较于原始版本,有95%的可能性,提升会在11.9%-28.1%范围内。

28

注:运营数据已脱敏处理

在试验后,我们可以得出最优版本,证明按钮的改动确实会影响点击率,并在相关界面作出修改。

29

A/B测试的宗旨就是避免经验主义,我们需要用数据支撑决策。同时,同一个试验场景在不同的历史时期,面对不同的受众审美也会有阶段性的变化,切不可一刀切的认为一次好,次次好。A/B测试是可以贯穿互联网产品的生命周期的,不论当前产品出在何种阶段,都是有A/B测试适用的场景来助力增长,提升转化的。

试验驱动增长,尽在AppAdhoc!>>快速试用<<

2593 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。