AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

中移在线 微信APP导流页优化

公司简介

10086是中国移动官方出品的移动端APP。作为中国移动于2014年10月设立的全资专业子公司产品,10086基于中国移动服务8亿客户的模式,致力于在数字化服务加速启动的今天,满足客户对互联网的依赖和对“以指代步”的期待。10086面向个人客户,以“给手机一把金钥匙,开启4G专属服务”为宗旨,产品视觉简单直观,交互易用,提供流量查询、超额监控、套餐余量提醒等多种服务支持,同时还可以帮助亲友管理流量和话费,随时随地关注消费变化,保证所有用户的通信无忧。

 

案例背景

作为官方微信公众号,“中国移动10086”承载着将流动用户向10086移动端APP导流的重要职责。在公众号的主要服务模块以及每一期运营活动中,都有一个专门引导用户下载APP的落地页,但目前这个落地页的下载转化率表现不佳。因此,10086的产品部门希望能够通过A/B测试的方式,找到优化转化率的最佳方案。

 

测试方案

10086的数据部门负责人发现,目前版本的下载界面很长(有6屏之多)。虽然每屏都从不同角度介绍了APP的优势功能,也都有引导下载的入口,但数据显示,除了首屏的下载转化相对较多以外,其他几屏的数据很不理想。

在综合评估后,产品部门决定将新版下载界面缩短至一屏,看是否能对下载转化进行提升,具体方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:页面内容相对丰富,分为6屏从不同角度描述APP功能,且每个页面都有转化按钮;

试验版本:将原有的6屏内容整合为单一屏,同时增强CTA按钮的视觉效果。

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

 

测试目标

此次试验主要关注两个版本的下载按钮点击次数和转化情况,从而找到最有效促进产品导流的页面样式方案。

 

A/B测试数据反馈

本次试验选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为7天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在观察对比不同版本的试验数据后,产品部门得出了科学的试验结论。

-新版入口不论从点击还是转化来说,数据都达到了统计显著,样本提升幅度在55%,从置信区间的预估看来,整合为一屏后的导流转化至少可以增加12.4%;

-这些数据很好地验证了数据部门和产品部门的假设,基于中国移动10086公众号现有的用户,过多的功能介绍反而会分散用户的注意力,只需要简明扼要的表达移动端可以给他们带来的价值,用户自然就会下载产品;

-本次试验的带来的宝贵经验,也为后续的产品优化提供了更加明确的方向。

5450 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。