AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

Max+论坛帖子算法优化

公司简介

Max+ 定位为一个专业的第三方游戏服务平台,目前专注于竞技类游戏数据及周边的服务,希望能够带给用户更多关于游戏和电子竞技的快乐。目前对于Dota2/英雄联盟LOL/风暴英雄/暗黑3等电子竞技游戏玩家,能够为他们提供专业的玩家数据统计、实时更新的赛事资讯、覆盖全面的游戏直播和视频,方便快捷的好友交流和互动等一站式服务。

 

案例背景

长久以来,技术和运营部门对守望先锋的论坛帖子排序存在较大争论。技术部门开发了一套综合的算法对帖子进行排序,运营部门认为单纯按照时间排序是最好的选择,直接把最新的帖子放在最上面。两个部门对于排序方式一直争执不下,这种情况正好适合用于 A/B测试 ,通过科学的计算方法给出最有力的解答。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

本次试验的具体方案如下:

max%e5%b8%96%e5%ad%90%e6%8e%92%e5%ba%8f%e5%9b%be%e7%89%87%e5%af%b9%e6%af%94

原始版本:用户看到的是经过综合算法排序后的帖子。

试验版本:用户将看到单纯按照时间倒序排列的帖子,即最新的帖子放在最上面,其余页面展示和逻辑保持不变。

同时,将论坛帖子的点击数设置为优化指标。

 

测试目标

本次试验的主要目标是,观察不同的排序方案对帖子点击量的影响,通过对比各个方案的试验数据,选择出最能够促进点击量的显示方式。

 

A/B测试数据反馈

本次试验在安卓环境下进行,在试验运行了40天后(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,功能类试验应适当延长),产品部门得到了客观科学的数据结论。

-试验版本(按照时间倒序排列)的点击量明显高于用综合算法排序的原始版本,具体数值高出20%左右;

结合产品的留存率考量,由于该论坛的次日留存率很高(60%以上),推断用户对于新帖子的热情和接受度都会较高;

-试验结果表明,按照时间倒序排列论坛帖子是目前最合适、效果最佳的排序方法。

6447 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。