AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名育儿社区平台帖子优化

公司简介

作为国内专业的育儿社区平台,该公司旨在通过为备孕、孕期及0-6岁婴幼儿父母提供高质量、多类型线上线下服务,搭建全方位平台,让父母们在这里进行有价值的经验分享以及育儿学习,得到愉快的和有意义的育儿及成长体验。公司先后开发了多款针对不同人群和使用场景的手机应用,为千万新手爸爸妈妈提供了资源共享的交流平台,同时可以满足他们多层次、全方位、适应时代进步的育儿需求。其中,本案例涉及的是一款备孕怀孕育儿社区应用,产品每天推送一条最权威的孕育知识,用户可以与同孕龄、同医院的准妈妈一起交流讨论,享受精彩孕育生活。

 

案例背景

该应用的产品部门希望能够优化用户帖子详情的点击转化率,从而提升产品的整体留存率。在设计优化方案时,产品部门一共提出了3种不同的候选方案,但对于哪种方案能够带来数据的确定增长并没有十足的把握。因此,产品部门决定通过 A/B测试 的方式检验,并确定最终对留存率有更积极效果的优化方案。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

基于现有的版块形态,产品部门共设计了3套试验方案,具体如下:

试验一:增加帖子推荐内容

原始版本中,所有用户帖子以时间为原则倒序排列;试验版本则在倒序排列的基础上,增加优秀内容推荐,其余元素保持不变。

%e5%a2%9e%e5%8a%a0%e6%8e%a8%e8%8d%90%e5%b8%96%e5%ad%90%e5%9b%be%e7%89%87

试验二:增加精彩回帖

原始版本中,只有“全部回帖”一个版块;试验版本1中,新增“精彩回帖”版块,展现1条精彩回帖内容,其余元素保持不变;试验版本2中,新增“精彩回帖”版块,展现3条精彩回帖内容,其余元素保持不变。

%e5%a2%9e%e5%8a%a0%e7%b2%be%e5%bd%a9%e5%9b%9e%e5%b8%96

试验三:帖子综合优化

原始版本中,所有用户帖子以时间为原则倒序排列,且只有“全部回帖”一个版块;试验版本中,用户帖子在倒序排列的基础上,增加优秀内容推荐,同时在回帖版块增加“精彩回帖”,展现1条精彩回帖内容。

%e5%b8%96%e5%ad%90%e7%bb%bc%e5%90%88%e4%bc%98%e5%8c%96-%e5%8e%9f%e5%a7%8b %e5%b8%96%e5%ad%90%e7%bb%bc%e5%90%88%e4%bc%98%e5%8c%96-%e8%af%95%e9%aa%8c

同时,设置“用户帖子详情点击转化”、“用户留存率”、“点赞次数”和“发帖次数”等为优化指标。

 

测试目标

本次试验的主要目的是,对比不同优化方案对于用户点击帖子详情的转化率影响,同时观察用户留存率是否得到了提升,最终找出对各项指标有正向效果的版本并上线发布。

 

A/B测试数据反馈

此次测试分为3组试验分别进行,在每个试验运行近3周之后,产品部门得到了意想不到的试验结果:

cce-tm 4d35-tm

-单独改变应用内的帖子排序方式或增加精彩回帖版块时,优化指标的变化区间都不闭合,也就是说调整单一版块对于产品数据的变化是不显著的;

-而观察综合多个优化方案后的试验数据(即同时添加帖子推荐位和精彩回帖版块的试验),发现产生了“1+1>2”的效果,不论是用户对帖子详情的点击转化,还是用户的整体留存、活跃度,都得到了显著的提升;

-产品部门在综合考虑各个试验的数据后,决定在线发布“帖子综合优化”的设计方案,使产品能够最大程度的激发用户活跃度,提升整体留存率。

 

特别说明:由于该公司相关隐私保护要求,本案例暂不公开该公司或产品的具体名称。

2846 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。