AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名网络视频企业旗下直播平台推荐算法优化

公司简介

作为某知名网络视频企业旗下直播平台,该企业成立于2013年8月,拥有热播推荐、综艺直播、广场、排行榜、商城、论坛等功能。产品为用户提供丰富精彩的真人视频生活秀及优质综艺直播内容,支持数十万人同时在线收看,依托顶尖直播技术,实时传递高清画质。在直播行业一片红海的背景下,该公司率先推出“互动综艺”概念,用差异化的直播产品卡位市场,将以艺人为核心的传统综艺节目,变成全民参与、深度互动的综娱直播。产品定位为“中国第一互联网大众造星平台”,借助强内容的优质内核扩大用户的选择范围,致力于成为中国最好玩儿的直播媒体。平台帮助用户从乏味无感的传统直播中抽身,从而有机地扩散最好玩儿的直播内容,同时利用高互动的参与形式摆脱传统直播模式所造成的窘境。

 

案例背景

目前,大部分直播平台的推荐页是以“原始分+动态分+人工干预”的方式排列主播的直播内容。其中,原始分是人工初始打分,包括主播的外貌、才艺、历史互动情况等;动态分是当前直播的具体表现,包括时长、关注量、真人观众数等;人工干预则是运营部门手动进行强制调整。某知名网络视频企业旗下直播平台,希望凭借技术部门的力量,通过A/B测试进一步优化推荐页面算法,找到最适合自身特点、最能促进用户活跃度的算法方式。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

产品技术部门设计了两套不同的推荐算法,将相关页面集成到AppAdhoc A/B Testing中,生成了1个试验版本和1个原始版本。

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:原有推荐算法;

试验版本:优化后的推荐算法,页面其他元素保持不变。

同时,设置用户观看时长、直播间关注次数、观看直播次数为主要优化指标。

 

测试目标

此次试验主要目的在于,观察不同推荐算法是否会对核心指标产生不同影响,从而选定本次算法优化的最终方案。

 

A/B测试数据反馈

此次 A/B 测试选在Android端进行,试验持续了一周多的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学可信的数据结果。

-两个版本的数据不论是从均值还是转化人数来看,指标的数据差值都不大,且统计不显著;

-说明两种推荐算法对于产品核心指标的影响没有明显优劣不同;

-产品部门决定不更换现有推荐页算法方式,从其他方面进一步思考促进用户活跃度的方式。

4202 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。