AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名门户网站旗下电台产品AA测试

公司简介

作为某知名跨平台网络新媒体公司推出的一款手机音频APP,该产品不仅拥有对应卫视传媒集团的独家优质音频内容,同时购买了海量版权音频,涵盖新闻、财经、谈话、娱乐、相声、文史、亲子、社会、生活等内容。此外,产品支持直播、点播、离线收听等多种方式,可以在iPhone、Android平台上播放。

 

案例背景

为了测试AppAdhoc A/B Testing平台的稳定及数据准确性,产品部门对A/B测试有了解,但未曾使用过A/B测试,想过建立一个特殊的 A/B测试 (A/B版本中试验版本的内容完全一致),进而达到测试A/B测试系统或平台的稳定性。他们使用了AA测试去验证,并且将同一个需要测试的页面作为两个版本,用来测试两个版本反映出的数据是否相似。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

产品部门将需要测试的页面集成到AppAdhoc A/B Testing中,生成了包含1个试验版本和1个原始版本(两个版本页面完全相同)。

a91c-tm

 

 

测试目标

此次试验主要关注两个版本的数据统计是否相似,从而验证AppAdhoc A/B Testing平台的稳定性及数据准确性。

 

A/A测试数据反馈

此次的 A/B 测试放置在小渠道发布,通过AppAdhoc A/B Testing产品的科学流量分割机制,随机向 2个方案各分配 相同的流量,试验持续了14天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),随后,各个试验的数据反馈使产品部门立即得到了他们想要的答案。

%e5%87%a4%e5%87%b0fmaa%e6%95%b0%e6%8d%ae%e6%8a%98%e7%ba%bf

%e5%87%a4%e5%87%b0fmaa%e6%95%b0%e6%8d%ae%e5%8c%ba%e9%97%b4

-两个版本的流量基本一致,同时按钮点击率上报的数据基本相同;

-两个版本的置信区间(95%)都不收敛,说明两个版本没有明显的优劣差别;

-该试验结果验证了AppAdhoc A/B Testing平台的稳定性及数据准确性。

 

特别说明:由于该公司相关隐私保护要求,本案例暂不公开该公司或产品的具体名称。

3299 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。