公司简介

10086是中国移动官方出品的移动端APP。作为中国移动于2014年10月设立的全资专业子公司产品，10086基于中国移动服务8亿客户的模式，致力于在数字化服务加速启动的今天，满足客户对互联网的依赖和对“以指代步”的期待。10086面向个人客户，以“给手机一把金钥匙，开启4G专属服务”为宗旨，产品视觉简单直观，交互易用，提供流量查询、超额监控、套餐余量提醒等多种服务支持，同时还可以帮助亲友管理流量和话费，随时随地关注消费变化，保证所有用户的通信无忧。

案例背景

作为官方微信公众号，“中国移动10086”承载着将流动用户向10086移动端APP导流的重要职责。在公众号的主要服务模块以及每一期运营活动中，都有一个专门引导用户下载APP的落地页，但目前这个落地页的下载转化率表现不佳。因此，10086的产品部门希望能够通过A/B测试的方式，找到优化转化率的最佳方案。

测试方案

10086的数据部门负责人发现，目前版本的下载界面很长（有6屏之多）。虽然每屏都从不同角度介绍了APP的优势功能，也都有引导下载的入口，但数据显示，除了首屏的下载转化相对较多以外，其他几屏的数据很不理想。

在综合评估后，产品部门决定将新版下载界面缩短至一屏，看是否能对下载转化进行提升，具体方案如下：

原始版本：页面内容相对丰富，分为6屏从不同角度描述APP功能，且每个页面都有转化按钮；

试验版本：将原有的6屏内容整合为单一屏，同时增强CTA按钮的视觉效果。

AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量，使企业可以在新版本上线之前，以最低成本观察客户对多个优化方案的数据反馈。同时，根据试验的数据发现客户反馈最好的版本，作为最终的新版本迭代方案。

测试目标

此次试验主要关注两个版本的下载按钮点击次数和转化情况，从而找到最有效促进产品导流的页面样式方案。

A/B测试数据反馈

本次试验选择A/B测试与灰度发布相结合的方式，初始流量分配4%（各版本分配1%的流量），在确保真实环境下无bug及报错情况后，逐步调大试验流量，试验周期为7天（一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周）。在观察对比不同版本的试验数据后，产品部门得出了科学的试验结论。

-新版入口不论从点击还是转化来说，数据都达到了统计显著，样本提升幅度在55%，从置信区间的预估看来，整合为一屏后的导流转化至少可以增加12.4%；

-这些数据很好地验证了数据部门和产品部门的假设，基于中国移动10086公众号现有的用户，过多的功能介绍反而会分散用户的注意力，只需要简明扼要的表达移动端可以给他们带来的价值，用户自然就会下载产品；

-本次试验的带来的宝贵经验，也为后续的产品优化提供了更加明确的方向。