AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名网络视频企业旗下直播平台AA测试

公司简介

作为某知名网络视频企业旗下直播平台,该企业成立于2013年8月,拥有热播推荐、综艺直播、广场、排行榜、商城、论坛等功能。产品为用户提供丰富精彩的真人视频生活秀及优质综艺直播内容,支持数十万人同时在线收看,依托顶尖直播技术,实时传递高清画质。在直播行业一片红海的背景下,该公司率先推出“互动综艺”概念,用差异化的直播产品卡位市场,将以艺人为核心的传统综艺节目,变成全民参与、深度互动的综娱直播。产品定位为“中国第一互联网大众造星平台”, 借助强内容的优质内核扩大用户的选择范围,致力于成为中国最好玩儿的直播媒体。平台帮助用户从乏味无感的传统直播中抽身,从而有机地扩散最好玩儿的直播内容,同时利用高互动的参与形式摆脱传统直播模式所造成的窘境。

 

案例背景

为了测试AppAdhoc A/B Testing平台的稳定及数据准确性,产品部门对A/B测试有过初期的了解,但没有使用过 A/B测试 ,想过建立一个特殊的A/B测试(A/B版本中试验版本的内容完全一致),进而达到测试A/B测试系统或平台的稳定性。他们使用了AA测试去验证,并且将同一个需要测试的页面作为两个版本,用来测试两个版本反映出的数据是否相似。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

产品部门将需要测试的页面集成到AppAdhoc A/B Testing中,生成了包含1个试验版本和1个原始版本(两个版本完全一致)。

%e6%9d%a5%e7%96%afaa%e8%af%95%e9%aa%8c%e6%88%aa%e5%9b%be

 

测试目标

此次试验主要关注两个版本的数据统计是否相似,从而验证AppAdhoc A/B Testing平台的稳定性及数据准确性。

 

A/A测试数据反馈

此次的 A/B 测试放置在小渠道发布,通过AppAdhoc A/B Testing产品的科学流量分割机制,随机向 2个方案各分配 相同的流量,试验持续了10天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),随后,各个试验的数据反馈使产品部门立即得到了他们想要的答案。

%e6%9d%a5%e7%96%afaa%e6%95%b0%e6%8d%ae%e6%8a%98%e7%ba%bf%e6%9d%a5%e7%96%afaa%e6%95%b0%e6%8d%ae%e5%8c%ba%e9%97%b4

-两个版本的流量基本一致,同时按钮点击率上报的数据基本相同;

-两个版本的置信区间(95%)都不收敛,说明两个版本没有明显的优劣差别;

-该试验结果验证了AppAdhoc A/B Testing平台的稳定性及数据准确性。

 

特别说明:由于该公司相关隐私保护要求,本案例暂不公开该公司或产品的具体名称。

2988 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。