AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

中国黄金市场某领军企业首页改版优化

 

公司简介

公司成立于2012年9月,是一款专注于上海黄金交易所的,提供上海黄金交易所所有品种、纸黄金、纸白银、外汇指数等多市场行情,集交易、行情、策略、视频直播、在线客服等服务为一体的行情交易软件。2015年中国互联网巨头——新浪公司正式宣布入主该企业,进一步增强其在中国黄金市场的核心竞争力和领袖地位。2016年8月24日,该企业以“换股+现金”的方式借道中概股登陆纳斯达克。

 

案例背景

由于平台定位发生了转变,从原有的交易型APP逐步转向营销支撑+资讯共享的产品类型,因此出于运营需求,产品决定进行首页改版。同时,为了进一步提高首页的空间利用率,尤其是首屏和第二屏的页面使用频率,本次改版的调整幅度较大,希望能够借此充分发挥大流量区域的曝光作用。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察用户对优化改版方案的数据反馈。同时,根据试验的数据发现用户反馈最好的版本,作为最终的新版本迭代方案。

基于现有首页样式,同时考虑运营策略的调整,产品部门设计新老版本如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

本次改版的主要调整在于:

– 增加主题板块入口;

– 下移或移除banner、直播等栏目;

– 整合资讯模块,提高热门资讯的曝光度;

– 调整底部导航栏排序,将“客服”版块移除,替换为“资讯”和“直播”。

将各模块的点击情况和转化率,作为本次首页改版的核心关注指标。

 

测试目标

本次改版一方面在于满足产品定位调整后的运营策略需求,另一方面如何保证在改版后不影响用户的原有产品体验,以及是否能够对产品活跃度有积极地作用,这些都需要通过A/B测试的方式得到验证。

 

A/B测试数据反馈

此次A/B测试在Android和iOS端同时进行,考虑到本次改版的幅度较大,因此产品部门决定通过10%的小流量先行验证新版上线后的数据效果。试验周期为两周左右(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),在对数据进行分析后,产品部门得到了意想不到的结果:

%e8%af%95%e9%aa%8c%e6%95%b0%e6%8d%ae

-试验版本数据远低于原始版本的数据表现,这与产品部门之前的预期完全相反;

-不论是iOS端还是Android端,试验版本都出现了不同程度的数据下滑(其中Android端更严重);

-试验数据表明,产品和运营部门之前对用的行为理解不够深入,需要从其他层面分析原因,找到真正有效的改版设计方案。

2329 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。