AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

微软商城结算页展示优化

公司简介

微软(Microsoft)公司由比尔·盖茨与保罗·艾伦创始于1975年,总部设在华盛顿州的雷德蒙市。是全球最大的电脑软件提供商。微软公司现有雇员6.4万人,2005年营业额368亿美元。其主要产品为Windows操作系统、Internet Explorer网页浏览器及Microsoft Office办公软件套件。微软商城是微软中国的官方商城,销售Windows Phone等数码产品以及微软旗下软件产品。商城内全部货品有官方正品保证,用户购买后享受30天无理由退货,2年有限保修,7*24在线服务等权益。

 

案例背景

作为电商类网站,微软商城非常重视用户在最终付款环节的成功率。为了进一步提升用户在结算页面的漏斗转化率,产品部门希望通过A/B测试的方式,优化结算页面的布局,找到更有助于推动用户提交订单的设计方案。他们推测,可能是由于产品结算页的操作较为复杂,导致目前转化率不高,如果能够简化步骤就能增加订单生成量。为此,他们设计了一套简化方案,来验证自己的假设。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

产品部门将策划的两套页面展示方案如下:

%e5%8e%9f%e5%a7%8b%e7%89%88%e6%9c%ac%e8%af%95%e9%aa%8c%e7%89%88%e6%9c%ac

原始版本:结算页面分为3个步骤(收货地址、支付方式和发票信息确认),用户在打开后页面自动展开“收货地址”栏,信息无误确认才能继续下一步骤;

试验版本:将收货地址和发票项合并为“发票与地址”,在用户打开时自动展开,待信息无误确认后,再选择支付方式。

同时设置“提交订单”按钮的点击量和转化率为本次试验的主要优化指标。

 

测试目标

此次试验的目的是对比结算展开项简化前后,用户成功提交订单的数据效果,以验证微软产品部门的试验假设,进一步优化结算转化率。

 

A/B测试数据反馈

本次试验在PC端网页进行,在试验运行了半个月后(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),产品部门得到了客观科学的数据结论。

-试验版本胜出,简化成两个步骤之后,用户提交订单的转化率相比3项的版本提升6%,且在95%的置信区间下,新版本的效果呈统计学显著,优于原始的复杂版本;

-试验结果表明,简化后的结算页面有效减少了用户的操作步骤,提高了用户进入付款页面的转化率。因此,产品部门决定通过一键发布功能,将新版本在线展示给全量用户。

2513 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。