AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

追书神器包月购买布局优化

公司简介

《追书神器》是国内首款专注网络连载文章的应用,旨在让用户以最便捷的方式浏览到文章的最新章节。产品以百万级的小说收录为基础,在实现海量小说更新与作者云同步的同时,还结合真实的测评数据,为不同的用户群体提供个性化的小说榜单和各类主题书单,一站式满足差异化的阅读需求,真正解决用户阅读的“书荒”痛点。此外,追书神器还拥有多元化的社区交流讨论区,建立起作者与用户、用户与用户之间的粘性和社交纽带。作为一款专注开发免费阅读小说的移动阅读类APP软件,追书神器自2012年上线以来,经过4年运营,用户已超过6000万,日活超过800万。凭借强大的产品功能、社区日活系数、用户的高口碑及留存率,追书神器获得MAIC2016年度最具成长性移动阅读类应用。

 

案例背景

用户付费的转化率是追书最核心的业务指标之一,所以追书对产品优化的一切改进都会围绕“收入”这个指标来进行。对于像追书神器这样每日活跃用户数过百万的产品,每一次迭代都需非常谨慎,因此产品部门非常认可和重视通过小流量验证版本效果的A/B测试,希望借助试验实现稳定迭代,在保证用户良好体验的前提下,进一步提高产品核心转化率。

目前的章节解锁页面,“开通包月”和“购买章节”的按钮权重不一,产品部门提出假设:如果改变两个按钮的顺序和权重,应该可以有效提升用户开通包月的转化率。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

针对现有章节解锁页面的按钮布局,产品部门设计试验方案如下:

%e8%bf%bd%e4%b9%a6%e7%a5%9e%e5%99%a8-%e5%8c%85%e6%9c%88%e8%b4%ad%e4%b9%b0%e5%b8%83%e5%b1%80%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:在引导用户购买行为时,“购买章节”的引导权重大于“开通包月”;

试验版本:与原始版本相反,提高“开通包月”的引导权重,将“开通包月”的按钮置于“购买章节”按钮上方。

此外,当用户点击“开通包月”按钮后,购买流程保持不变(具体如下)。

%e8%bf%bd%e4%b9%a6%e7%a5%9e%e5%99%a8-%e5%8c%85%e6%9c%88%e8%b4%ad%e4%b9%b0%e6%b5%81%e7%a8%8b

本次试验的核心优化指标是“开通包月”按钮的点击情况,同时设置包月支付页面展示次数、支付页面按钮点击、包月开通成功情况为次要优化指标。

 

测试目标

这次试验的主要目标是,对比两种权重下的“开通包月”按钮转化率,以及对后续付费流程的影响情况,从而验证该方案是否有助于促进用户成功购买包月产品。

 

A/B测试数据反馈

本次试验安卓端进行,考虑到只是交互布局上的调整,因此两个版本各分配了50%的流量,运行周期为15天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。通过对试验数据的对比分析,产品部门得到了效果明确的科学试验结论。

-试验版本以绝对优势胜出,本次试验核心关注指标是“包月付费按钮点击数”和“包月开通成功次数”,试验数据很明显的反映出试验版本对关键指标的影响是远远大于原始版本的,且提升的幅度均在5倍以上;

-追书神器是日活高达百万级别的应用,本次试验的提升幅度对产品来说是个不小的提升,极大的提高了核心业务转化率,因此产品部门立即将试验版本调至全量用户,进一步实现了业务的优化增长。

4150 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。