AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
10086是中国移动官方出品的移动端APP。作为中国移动于2014年10月设立的全资专业子公司产品,10086基于中国移动服务8亿客户的模式,致力于在数字化服务加速启动的今天,满足客户对互联网的依赖和对“以指代步”的期待。10086面向个人客户,以“给手机一把金钥匙,开启4G专属服务”为宗旨,产品视觉简单直观,交互易用,提供流量查询、超额监控、套餐余量提醒等多种服务支持,同时还可以帮助亲友管理流量和话费,随时随地关注消费变化,保证所有用户的通信无忧。
案例背景
作为官方微信公众号,“中国移动10086”承载着将流动用户向10086移动端APP导流的重要职责。在公众号的主要服务模块以及每一期运营活动中,都有一个专门引导用户下载APP的落地页,但目前这个落地页的下载转化率表现不佳。因此,10086的产品部门希望能够通过A/B测试的方式,找到优化转化率的最佳方案。
测试方案
10086的数据部门负责人发现,目前版本的下载界面很长(有6屏之多)。虽然每屏都从不同角度介绍了APP的优势功能,也都有引导下载的入口,但数据显示,除了首屏的下载转化相对较多以外,其他几屏的数据很不理想。
在综合评估后,产品部门决定将新版下载界面缩短至一屏,看是否能对下载转化进行提升,具体方案如下:
原始版本:页面内容相对丰富,分为6屏从不同角度描述APP功能,且每个页面都有转化按钮;
试验版本:将原有的6屏内容整合为单一屏,同时增强CTA按钮的视觉效果。
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。
测试目标
此次试验主要关注两个版本的下载按钮点击次数和转化情况,从而找到最有效促进产品导流的页面样式方案。
A/B测试数据反馈
本次试验选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为7天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在观察对比不同版本的试验数据后,产品部门得出了科学的试验结论。
-新版入口不论从点击还是转化来说,数据都达到了统计显著,样本提升幅度在55%,从置信区间的预估看来,整合为一屏后的导流转化至少可以增加12.4%;
-这些数据很好地验证了数据部门和产品部门的假设,基于中国移动10086公众号现有的用户,过多的功能介绍反而会分散用户的注意力,只需要简明扼要的表达移动端可以给他们带来的价值,用户自然就会下载产品;
-本次试验的带来的宝贵经验,也为后续的产品优化提供了更加明确的方向。