AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
2016年5月,许多国外网友发现,在用谷歌在搜索页面时,部分用户的链接颜色从蓝色变为黑色,而以往的链接是蓝色。事实上,这是谷歌在在对页面设计进行测试,这种测试谷歌每天都会有大量在同时进行,潜移默化的影响着用户习惯。前谷歌设计师Doug Bowman在2009年离职时的一份公开声明中证实,一次设计师不能在两种颜色中做出取舍时,他们测试了41种不同深浅的蓝色。
一个按钮的改动就将会影响引流效果,如今的A/B测试已经是众多公司的增长利器,一个完整的A/B测试在开始之前要确定实验方案、关键优化指标、试验样本数量(基于样本计算器)、适当的试验天数以及业务层面的流量分配逻辑。
假设我们自己作为项目负责人,正在讨论采用哪种icon样式作为分享按钮:
上述四种图标都是用来表达分享、转发的。但是到底哪一个类型的icon是最能引起消费者注意的呢?如果我们能找出大多数用户都喜欢的icon样式,是否就可以大幅提升分享转化率呢?
某天气APP就真的为了这个事儿做了一回A/B测试。借助热云数据A/B Testing平台,他们设计了一套测试方案:分别将主页面的分享按钮用四种不同形状来表示不同的指标,并据此分配了4个试验版本(包含原始版本),试验设计方案如下图,准备以点击率作为此次测试试验指标。
试验方案(上图)(点此用AI快速作出好Logo和好海报)
UI、文案的改变一般对用户影响降到较小,所以可以均匀分配流量,并以7天为测试周期。该方案的A/B测试实现方式:
1.集成SDK:在APP源代码中,集成对应的移动端SDK。用户需要在某次APP迭代时,将移动端的SDK和需要进行测试的元素(4种不同的分享icon)一并集成到代码当中,在进行AB测试时,根据样本的分流结果来展示相应的icon样式。
2.优化指标:将sharebutton(分享按钮)作为本次AB试验的优化指标。
3.创建版本:根据不同的icon样式(变量)来分配版本。
4.其他配置:均匀分配流量,配置受众条件。
5.运行试验。
在已经集成了移动端SDK后,又不想频繁发版来进行A/B测试的话,可以选择移动端可视化试验。在用户页面直接操作,点击即可替换目标icon,一样也可以实现上述方案,而且指标只需要绑定一次即可,省去了重复发版的繁琐操作。
移动端可视化编辑器(上图)
在试验运行了一段时间后(至少运行7天),试验版本2的转化率明显优于原始版本和其他试验版本,至此,我们可以初步得出结论:试验版本2的【转发】转化率相较于原始版本,有95%的可能性,提升会在11.9%-28.1%范围内。
注:运营数据已脱敏处理
在试验后,我们可以得出最优版本,证明按钮的改动确实会影响点击率,并在相关界面作出修改。
A/B测试的宗旨就是避免经验主义,我们需要用数据支撑决策。同时,同一个试验场景在不同的历史时期,面对不同的受众审美也会有阶段性的变化,切不可一刀切的认为一次好,次次好。A/B测试是可以贯穿互联网产品的生命周期的,不论当前产品出在何种阶段,都是有A/B测试适用的场景来助力增长,提升转化的。