AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

10086客服界面优化

公司简介

10086是中国移动官方出品的移动端APP。作为中国移动于2014年10月设立的全资专业子公司产品,10086基于中国移动服务8亿客户的模式,致力于在数字化服务加速启动的今天,满足客户对互联网的依赖和对“以指代步”的期待。10086面向个人客户,以“给手机一把金钥匙,开启4G专属服务”为宗旨,产品视觉简单直观,交互易用,提供流量查询、超额监控、套餐余量提醒等多种服务支持,同时还可以帮助亲友管理流量和话费,随时随地关注消费变化,保证所有用户的通信无忧。

 

案例背景

目前10086 APP客服问题页面默认采用“热门问题展开形式”进行展现,产品部门推断这种展现方式导致“积分”等类型问题、和拨打10086等按钮无法一屏展示,进而影响用户快速找到相关问题知识,造成客服界面的使用率较低。为了提升首页各问题栏目的点击量以及在线客服支持的利用率,降低用户在APP内拨打10086次数,进一步减少10086客服中心压力,产品部门决定通过A/B测试修改应用中客服界面的布局和按钮,确定此类改动对用户使用情况的影响。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

10086的产品部门在综合考虑现有客服界面的内容布局后,决定创建3个试验版本,具体方案如下:

10086-%e5%ae%a2%e6%9c%8d%e7%95%8c%e9%9d%a2-%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:热门问题展开,页面最下方有“联系在线客服”和“拨打10086”两个按钮;

试验版本1:不展开热门问题内容,其余页面元素保持不变;

试验版本2:热门问题展开,将页面最下方的“拨打10086”按钮移除,只保留“联系在线客服”,其余页面元素保持不变;

试验版本3:不展开热门问题内容,同时将“拨打10086”按钮移除,只保留“联系在线客服”,其余页面元素保持不变。

同时,将各版块中问题栏目的点击和“联系在线客服”的按钮点击,作为本次试验的核心关注指标。

 

测试目标

此次试验主要关注在调整“热门问题”和页面下方按钮之后,客服界面中各问题栏目的点击和在线客服的使用情况影响,从而验证不同试验方案的优化效果。

 

A/B测试数据反馈

本次试验选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为14天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在观察对比不同版本的试验数据后,产品部门得出了科学的试验结论。

10086-%e5%ae%a2%e6%9c%8d%e7%95%8c%e9%9d%a2%e4%bc%98%e5%8c%96%e6%95%b0%e6%8d%ae

-关注问题栏目的点击变化,不论“热门问题”的展开与否,还是“拨打10086”按钮是否存在,对用户点击不同类型的问题栏目都没有显著的直接影响;也可以看出,如果要提升问题栏目的点击,要关注具体问题的以及答案的质量;

-从引导用户点击在线支持来说,不展开“热门问题”并去掉“拨打10086”按钮的试验版本3效果最好,统计显著结果并提升了近25%;

-对于试验版本1,数据结果显示当“热门问题”栏被折叠,页面最下方的客服和拨打10086按钮上移,用户关注热线以及在线客服的兴趣也会相应提升,其中选择拨打电话的用户提升更加明显;

-这些数据证明用户对页面下方的按钮使用率(包括拨打10086和使用在线客服),与“热门问题”的是否展开还是有一定关联的,产品部门可以依据本次试验的宝贵经验,为后续的优化明确方向。

3273 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。