AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

追书神器书籍推荐优化测试

公司简介

《追书神器》是国内首款专注网络连载文章的应用,旨在让用户以最便捷的方式浏览到文章的最新章节。产品以百万级的小说收录为基础,在实现海量小说更新与作者云同步的同时,还结合真实的测评数据,为不同的用户群体提供个性化的小说榜单和各类主题书单,一站式满足差异化的阅读需求,真正解决用户阅读的“书荒”痛点。此外,追书神器还拥有多元化的社区交流讨论区,建立起作者与用户、用户与用户之间的粘性和社交纽带。作为一款专注开发免费阅读小说的移动阅读类APP软件,追书神器自2012年上线以来,经过4年运营,用户已超过6000万,日活超过800万。凭借强大的产品功能、社区日活系数、用户的高口碑及留存率,追书神器获得MAIC2016年度最具成长性移动阅读类应用。

 

案例背景

用户活跃度和留存是追书最核心的业务指标之一,所以追书对产品优化的一切改进都会围绕这些指标来进行。这次追书神器的产品部门希望从书籍推荐入手,进一步促进已经阅读到完结章节的用户开启下一步书籍的浏览。目前共有两种推荐方式可以实行,至于哪种推荐方式能带来更多的阅读量和追新量,就需要借助A/B测试来找到更好的推荐方法。

 

测试方案

目前追书神器在侧边栏的推荐书籍中,分为主推书籍和弱推荐入口。用户在主推荐栏可以看到被推荐书籍的封面、书名和作者信息,而弱推荐入口则需要点击进入口才可以浏览相关书目。

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

根据现有的书籍推荐方式,产品部门设计试验方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:主推“精品书籍”版块,即当下优质书目推荐,与用户阅读的书籍类型无关;

试验版本:主推“相似书籍”版块,即根据用户当前阅读的书籍类型,推荐与之相似的其他书目。

优化指标:将“添加到书架点击量、展示书籍点击量、更多选项点击量、文字点击量、开始阅读点击量”作为本次试验的核心优化指标,同时设定“总消费金额”为辅助观察指标。

 

测试目标

这次试验的主要目标是观察不同书籍推荐方式对用户阅读量的影响,同时验证不同推荐方式是否会对付费转化的产生积极作用。

 

A/B测试数据反馈

本次试验Android端进行,两个版本各分配25%的流量,运行周期共计15天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在观察对比上述优化指标后,产品部门得出了科学的试验结论。

-试验版本胜出,主推“相似书籍”的方式对用户继续阅读并添加追新等指标有明显的提升效果,其中“添加到书架”的点击数据增加了354%以上;

-然而试验版本对“总消费”指标的影响不大,尽管样本数据显示有非常微小的降低,但置信区间未收敛,说明没有确定的增减影响;

-关于对总消费的不确定影响,推测可能的原因在于,从进入侧边栏到产生最终消费,整个行为路径很长,期间用户可能会受到其他因素的作用,因果关系不直接;

-这次试验找到了能够促进用户继续阅读的书籍推荐方式,同时也为进一步优化“总消费”指标明确了方向。

3134 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。