AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

微软商城首页左边栏优化

公司简介

微软(Microsoft)公司由比尔·盖茨与保罗·艾伦创始于1975年,总部设在华盛顿州的雷德蒙市,是全球最大的电脑软件提供商。微软公司现有雇员6.4万人,2005年营业额368亿美元。其主要产品为Windows操作系统、Internet Explorer网页浏览器及Microsoft Office办公软件套件。微软商城是微软中国的官方商城,销售Windows Phone等数码产品以及微软旗下软件产品。商城内全部货品有官方正品保证,用户购买后享受30天无理由退货,2年有限保修,7*24在线服务等权益。

 

案例背景

作为商城首页首屏的展示位,产品部门希望左边栏的部分能够得到充分利用。然而,经过对现有数据的统计分析,产品部门发现目前所展示的商品点击量非常低。因此,他们希望通过A/B测试的方式对这个黄金位置进行优化改进,从而找到能够使这部分发挥最好效果的展示方案。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

产品部门将策划的两套页面展示方案如下:

%e5%be%ae%e8%bd%af%e5%95%86%e5%9f%8e%e9%a6%96%e9%a1%b5%e5%b7%a6%e8%be%b9%e6%a0%8f%e4%bc%98%e5%8c%96%e5%af%b9%e6%af%94

原始版本:首页左边栏展示三个热门商品,用户点击后会分别跳转到对应的商品页面;

试验版本:首页左边栏展示产品目录链接,用户点击后会分别跳转到对应产品主题页。

同时设置左边栏的所有按钮点击量总和为主要优化指标。

 

测试目标

此次试验主要是希望可以通过对两套首页左边栏方案的数据对比,找到能够利用该黄金位置的最佳展示方案,从而优化该部分的整体点击转化率。

 

A/B测试数据反馈

本次试验在PC端网页进行,在试验运行了近两周后(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),产品部门得到了客观科学的数据结论。

-试验在运行近1周后,试验版本(产品目录)的总点击量就远超出原始版本(热门商品),提升幅度达到5倍以上;

-基于上述非常显著的优化对比,产品部门即刻调大了试验版本的流量分配,使更多用户接触到试验版本,并实时观察流量调整后不同版本的数据表现;

-在试验运行近两周后,试验数据趋于稳定,置信区间也逐渐收敛。此外,试验版本的方案同时促进了商城订单量的增长;

-试验结果表明,试验版本(产品目录)获胜,其总点击量高出原始版本5倍之多。于是产品部门选定试验版本为此次的优化方案,使首页的黄金位置得到更好的利用。

3582 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。