AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
乐动力是一款能够全天候自动记录用户运动行为的健康类应用。支持步行、跑步、骑行等有氧运动的自动识别和热量计算,同时还能帮助用户自动生成每天的生活轨迹。随着智能手机和穿戴式设备的普及,移动互联网正在向我们的日常生活延伸。传感器和智能设备的发展将人们的生活越来越多的数字化,这是一场变革,这是“量化生活”。乐动力希望参与这场技术变革,发掘传感器数据的价值,让运动和健康的数据好玩好用。此外,乐动力被评为App Store 2013年度精选应用,成为国内唯一一款获选应用。
案例背景
为了提高用户的点击率,与二级页面的停留时间,产品部门希望新版本可以增加用户在客户端内使用二级页面的人多数,提高按钮的转化率。为此他们策划了优化方案,用来验证哪种图标描述的效果最好。决定新版本执行哪个优化方案之前,他们希望有具体、客观的数据来了解不同方案对分享点击率的影响,从而做出产品的最终决策。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。
产品部门将策划的优化方案集成到AppAdhoc A/B Testing中,生成了包含1个试验版本和1个原始版本的 A/B测试 雏形。
原始版本:图标描述为 即图标描述为“理财”。
试验版本:相比原始版本,将图标描述改为“我要减脂”,其余元素保持不变。
测试目标
此次试验主要关注在2套的优化方案中,APP主页中图标描述的点击率的变化幅度以及这些改动对二级页面停留时间的影响,选出数据最优、综合反馈最好的版本作为新版的迭代方案。
A/B测试数据反馈
此次的 A/B 测试放置在小渠道发布,通过AppAdhoc A/B Testing产品的科学流量分割机制,随机向2个方案各分配少量的流量,试验持续了两周半左右(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),随后,各个试验的数据反馈使乐动力的产品部门立即得到了他们想要的答案。
-方案2(即文案“我要减脂”)胜出,并且在按钮的点击率有大幅度提升;
-试验版本中,用户的二级页面停留时间相比原始版本有一定增加。