AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名广场舞社区平台APP首页Banner优化

公司简介

该产品自2011年成立以来,收获来自社会各界的认可与赞赏,也收获了国内众多广场舞爱好者们的一致喜爱。产品于2016年7月发布广场舞TV版,正式开启多屏互动时代,满足舞蹈爱好者们看、赏、学、秀的需求。目前提供国内90%以上的广场舞名师及广场舞作品,全国覆盖超300万领队用户以及5000万舞友用户,其中超过90%以上为女性用户,是中国最大的中年女性广场舞社区平台。秉持着“让中老年人通过产品获得健康和快乐”的初衷,产品除了为全国中年女性用户提供广场舞视频作品以外,还有健身、减肥、养生、美妆、美食、旅游等多视角的生活内容,让每一位用户都能够开启甜蜜生活,拥有健康体魄。

 

案例背景

产品APP首页布局由banner、版块主题、视频推荐等组成,为了提高用户对不同版块主题的点击,产品部门提出希望通过AppAdhoc A/B Testing的可视化功能,探究改变版块位置是否可以增加各主题的点击情况。

 

测试方案

AppAdhoc A/B Testing的可视化编辑功能专为满足UI优化需求设定,支持APP及Web环境,无需任何编程经验与开发人员介入,即可轻松创建试验版本。此外,平台采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。在试验过程中,企业可以随时调整用户流量,以保证在新版本上线之前,用最低成本观察用户对优化改版方案的数据反馈。

本次试验采用可视化模式,产品部门在线创建并编辑试验版本,形成包括1个原始版本和1个试验版本的A/B测试雏形。

%e7%b3%96%e8%b1%86-%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:APP首页由上至下的内容为:Banner、版块分类、新手必看、猜你喜欢;

试验版本:将首页Banner位剔除,其他内容依次上移(版块分类提升至页面顶端),其余页面元素保持不变。

将版块分类中的5个按钮的点击数据,设置为本次试验的核心关注指标。

 

测试目标

本次试验的主要目的是,观察去掉Banner位之后的版块分类按钮的点击情况,验证这种布局变动是否能够带来各版块的用户点击增加。

 

A/B测试数据反馈

此次试验应用可视化编辑功能,试验为期两周(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对比分析各版本试验数据后,产品部门得出了科学可靠的数据结果。

%e7%b3%96%e8%b1%86-%e8%af%95%e9%aa%8c%e6%95%b0%e6%8d%ae%e5%9d%87%e5%80%bc

-原始版本胜出,无论是从点击均值还是用户转化数据对比,试验版本(踢掉Banner位提升版块分类位置)均呈现出明显的下降趋势,且置信区间收敛,统计结果显著;

-按照页面用户专注理论,用户的重点一般在页面中间偏上的位置,本次试验在次证明了这个结论:原始版本的版块分类位于首页中间偏上位置,而试验版本将分类模块移至页面最顶端,偏离了用户关注的黄金位置,也导致了按钮转化率的极大下降;

-基于效果显著的试验数据,产品部门最终决定保留Banner位置,同时也明确了后续的优化试验方向。

2139 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。