AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
微软(Microsoft)公司由比尔·盖茨与保罗·艾伦创始于1975年,总部设在华盛顿州的雷德蒙市,是全球最大的电脑软件提供商。微软公司现有雇员6.4万人,2005年营业额368亿美元。其主要产品为Windows操作系统、Internet Explorer网页浏览器及Microsoft Office办公软件套件。微软商城是微软中国的官方商城,销售Windows Phone等数码产品以及微软旗下软件产品。商城内全部货品有官方正品保证,用户购买后享受30天无理由退货,2年有限保修,7*24在线服务等权益。
案例背景
与大部分电商网站相同,如何把用户对商品的兴趣转化为最终购买行为,是微软商城在产品运营中非常关键的环节。近期,Surface Pro4是微软商城主推的一款产品,为了让更多浏览产品的用户真正下单购买,产品部门决定通过A/B测试的方式,针对商品展示页进行优化。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。
针对现有商品详情页样式,产品部门重新调整了售价栏、详情栏和促销栏的页面布局,设计了包括原始版本在内的4套展示方案,具体如下:
原始版本:三个信息栏位于页面右侧,由上至下的顺序为售价、详情和促销;
试验版本A:在原始版本的基础上,将商品详情栏移至页面右侧(商品图片浏览下方),其余元素保持不变;
试验版本B:在原始版本的基础上,调整三个信息栏的展示顺序,依次为详情、促销、售价栏,其余元素保持不变;
试验版本C:在原始版本的基础上,将促销信息栏移至页面右侧(商品图片浏览下方),其余元素保持不变;
同时设置“加入购物车”的按钮点击量为此次试验的核心优化指标。
测试目标
本次试验的主要目的在于,对比调整商品详情页页面布局前后的用户购买数据,找到更能促进用户购买转化的页面优化方式。
A/B测试数据反馈
本次试验在PC端网页进行,由于版本数量较多,试验周期在40天左右(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进行分析解读后,产品部门得到了客观科学的试验结论。
-试验运行一段时间之后,各版本表现如下:试验版本C的转化情况略低于原始版本,试验版本A、B相比原始版本的按钮转化率有不同程度的提升,其中试验版本A提升60%[+33%,+87%],提升幅度高于B版本;
-在各版本的试验数据趋于收敛之后,微软商城的产品部门在线调整了不同版本的流量分配,进一步观察版本数据走势;
-最后结果表明,试验版本A胜出,转化率显著优于原始版本+65.80%[+28.3%,+103.3%],因此产品部门将试验版本A的布局方式全量上线给所有用户,作为页面优化迭代的最终方案。