AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
作为国内专业的育儿社区平台,该公司旨在通过为备孕、孕期及0-6岁婴幼儿父母提供高质量、多类型线上线下服务,搭建全方位平台,让父母们在这里进行有价值的经验分享以及育儿学习,得到愉快的和有意义的育儿及成长体验。公司先后开发了多款针对不同人群和使用场景的手机应用,为千万新手爸爸妈妈提供了资源共享的交流平台,同时可以满足他们多层次、全方位、适应时代进步的育儿需求。其中,本案例涉及的是一款备孕怀孕育儿社区应用,产品每天推送一条最权威的孕育知识,用户可以与同孕龄、同医院的准妈妈一起交流讨论,享受精彩孕育生活。
案例背景
该应用的产品部门希望能够优化用户帖子详情的点击转化率,从而提升产品的整体留存率。在设计优化方案时,产品部门一共提出了3种不同的候选方案,但对于哪种方案能够带来数据的确定增长并没有十足的把握。因此,产品部门决定通过 A/B测试 的方式检验,并确定最终对留存率有更积极效果的优化方案。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。
基于现有的版块形态,产品部门共设计了3套试验方案,具体如下:
试验一:增加帖子推荐内容
原始版本中,所有用户帖子以时间为原则倒序排列;试验版本则在倒序排列的基础上,增加优秀内容推荐,其余元素保持不变。
试验二:增加精彩回帖
原始版本中,只有“全部回帖”一个版块;试验版本1中,新增“精彩回帖”版块,展现1条精彩回帖内容,其余元素保持不变;试验版本2中,新增“精彩回帖”版块,展现3条精彩回帖内容,其余元素保持不变。
试验三:帖子综合优化
原始版本中,所有用户帖子以时间为原则倒序排列,且只有“全部回帖”一个版块;试验版本中,用户帖子在倒序排列的基础上,增加优秀内容推荐,同时在回帖版块增加“精彩回帖”,展现1条精彩回帖内容。
同时,设置“用户帖子详情点击转化”、“用户留存率”、“点赞次数”和“发帖次数”等为优化指标。
测试目标
本次试验的主要目的是,对比不同优化方案对于用户点击帖子详情的转化率影响,同时观察用户留存率是否得到了提升,最终找出对各项指标有正向效果的版本并上线发布。
A/B测试数据反馈
此次测试分为3组试验分别进行,在每个试验运行近3周之后,产品部门得到了意想不到的试验结果:
-单独改变应用内的帖子排序方式或增加精彩回帖版块时,优化指标的变化区间都不闭合,也就是说调整单一版块对于产品数据的变化是不显著的;
-而观察综合多个优化方案后的试验数据(即同时添加帖子推荐位和精彩回帖版块的试验),发现产生了“1+1>2”的效果,不论是用户对帖子详情的点击转化,还是用户的整体留存、活跃度,都得到了显著的提升;
-产品部门在综合考虑各个试验的数据后,决定在线发布“帖子综合优化”的设计方案,使产品能够最大程度的激发用户活跃度,提升整体留存率。
特别说明:由于该公司相关隐私保护要求,本案例暂不公开该公司或产品的具体名称。