AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

案例解析|推荐算法如何赋能应用场景优化?

随着互联网流量红利的消失,“卖方”在交易中的主导地位逐渐被取代。各大互联网产品放弃了过去地毯式投放广告的方式,将以用户运营为中心,通过全量数据的采集及分析,基于用户画像和用户的行为数据,有针对性的提供精细化运营服务。

“个性化推荐”作为精细化运营的场景之一,成为了连接用户与产品间的情感纽带:像音乐平台的“心动模式”,购物平台的“猜你喜欢”,内容平台的“信息流推荐”,这些看似平常的小功能却能够唤起用户对产品的认同,从而增强对产品的依赖。

作为以图文信息流为主的内容分发平台,《参考消息》致力于连接人与信息,精选每日世界各地的消息及评论,全方位的报道国际国内新闻,为读者开阔了国际视野。《参考消息》官方网站上线于2012年,对内容精准高效的把控是其得益于用户喜爱的关键,同时,这也离不开其背后对AB测试的一次次尝试。

11
案例一:调整推荐算法,提高阅读点击量

《参考消息》APP团队在“相关阅读”板块中引入了第三方推荐算法,为了比较之前的人工编辑推荐和现有第三方推荐算法的效果,产品部门借助AppAdhoc A/B Testing平台对两种推荐方式做了一次测试:

原始版本为人工编辑推荐的形式,即由小编决定文章是否会被放在“相关阅读”板块中;而试验版本是第三方推荐算法自动生成的文章列表,且为了试验结果的科学性,此试验定向为百度渠道,即只有百度渠道的流量能够参与到此试验中。

根据试验设定,分配两个版本(包含原始版本):

22

由于是推荐算法类试验,所以试验采用了编程模式,将“相关阅读”的文章点击总数作为优化指标。试验共运行25天,得到试验数据:

试验版本中第三方推荐算法的“相关阅读”效果要更好些,文章点击转化数相比原始版本提高8%左右,所以在百度渠道的投放过程中,第三方推荐算法效果比人工编辑转化效果有所提升,产品部门最后选择全量推送试验版本。

33

试验至此并没有结束。产品部门又将两种推荐方式放到广点通做了一次试验:

同样原始版本为人工推荐的方式,试验版本为第三方推荐算法的方式,只不过定向时选择了广点通,结果与百度渠道完全相反:广点通渠道人工编辑推荐的“相关阅读”点击转化要更高些,比试验版本高出15%左右。所以产品部门在广点通渠道放弃了第三方推荐算法的方式,选择人工编辑的推荐列表。

试验结果表明,即使是同样的设定,在不同渠道有可能效果都是完全相反的,如果没有通过A/B测试的方式,是很难想到这样的结果的。精细化运营的本质就是以用户为中心的运营,在合适的渠道用合适的方式,才能让不同用户感知到合适的价值,用科学试验的方式不断迭代优化,这是精细化运营的必经之路。

案例二:调整模块位置,助力提高转化

针对现有页面的展示形态,《参考消息》产品部门提出假设:如果优先显示由推荐算法生成的新闻栏目,是否可以带来更多用户对推荐模块资讯的阅读,从而提高产品的点击量和活跃度呢?于是产品部门借助AppAdhoc A/B Testing平台对两种推荐方式做了一次测试:

原始版本用户进入参考消息后,默认显示人工编辑的“热点”栏目;试验版本将默认展示由推荐算法生成的“推荐”栏目,调整用户进入APP后的默认展示版块,并将信息流文章点击量作为优化指标。

据此分配两个版本(包含原始版本):

44

本次试验共运行了20天,观察试验数据可以看出,试验版本胜出。在95%的置信度下,推荐模块的文章点击提高了28%左右,同时文章阅读停留时长也有明显提高。

55

试验的结果验证了用户使用AppAdhoc AB Testing进行产品优化的猜想,其结论是准确有效的。

上述两个试验均为推荐算法类试验,这类试验也是在A/B测试中比较常见的试验场景。精细化运营的场景还有很多试验场景:比如针对新老用户的不同活动、不同地域,不同年龄的个性化运营、不同渠道下的推广等等,这些都需要我们对用户使用流程进行细分和拆解,明确精细化运营的方式。当然,这些试验需求可以通过AppAdhoc A/B Testing平台的“定向试验”,“多维度分析”等小功能去实现,A/B测试助力企业实现科学有效的增长。

试验驱动增长,尽在AppAdhoc!>>快速试用<<

205 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。