AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

银天下交易信息栏优化

公司简介

作为中国大宗商品现货电子交易服务商,银天下成立于2011年,核心业务是为客户提供现货投资服务,现拥有交易所交易通道、软件系统、研究咨询、贵金属现货贸易及制品业务。目前,银天下主要经营天津贵金属交易所、广东贵金属交易中心的现货白银、铂金、钯金及上海黄金交易所黄金TD等现货投资品种,以北上广为业务发展核心,辐射全国市场。2014至2015年,经世界权威市场调查机构欧睿国际认证,银天下为“中国线上大宗商品交易服务商现货交易额排名第一”;2016年,公司强势蝉联世界品牌实验室(WBL)“中国500最具价值品牌”,品牌价值50.18亿元, 是现货投资服务领导品牌。

 

案例背景

经过对现有数据的统计分析,产品部门发现某些页面指标的点击转化率较低,希望可以通过 A/B测试 提升某些指标的曝光度,方便用户查找和使用。因此,他们首先选取了交易板块的240m指标,作为此次测试的试验变量;设计了两套不同的指标展示方案,分别为本次试验的原始版本和试验版本。试验在安卓与iOS客户端同时进行。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

e153-tm

产品部门将策划的两套页面展示方案如下:

方案一:原始版本,240m指标页面隐藏在更多选项里,用户需点击展开后,才能看到指标入口;

1

方案二:试验版本,将240m指标选项直接显示在信息栏内,用户只需左右滑动即可找到。

2

同时设置“240m指标的点击次数”为主要优化指标。

 

测试目标

此次试验主要是希望可以通过对两套240m指标展示方案的数据对比,验证页面点击率的影响因素,从而提升该指标的页面点击率。

 

A/B测试数据反馈

本次试验分别在iOS和安卓端进行,在试验运行了两周后(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),产品部门得到了客观科学的数据结论。

-经过去重统计,参与安卓试验的独立用户有3w人(原始版本和试验版本各1.5w);参与iOS试验的独立用户有2w人(原始版本和试验版本各1w);

-安卓的指标试验结果为:新版本平均提升6%,95%置信区间为[-6.3%, +27.6%];

-iOS的指标试验结果为:新版本平均提升11.4%,95%置信区间为[-9.4%, +32.2%];

-对于安卓与iOS客户端,新版本均有平均提升,虽然95%的置信水平下统计不显著,但明显的,置信区间体现出正向的倾向,在较低的置信水平下,如70%,会达到统计显著。因此可以做出试验版本较好的判断;

-试验结果说明,240m指标的呈现形式对用户使用该指标(指标的点击率)起到了一定的促进作用,但置信区间表明还有其他重要因素影响用户点击,可以作为进一步探究方向。

3194 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。