AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

酷开TV 影视中心iqiyi会员优化

公司简介

深圳酷开网络科技有限公司成立于2006年10月,是一家专注智能电视研发以及客厅娱乐内容运营的互联网科技公司。作为创维旗下新高端互联网电视品牌,酷开专注电视产品新形态以及电视平台内容增值服务,为中国家庭用户提供软件、硬件、服务一体化的酷开电视,通过全国最大的智能电视系统-酷开系统,为千万级中国家庭提供内容与服务。在智能电视领域深耕多年后,于2013年推出酷开TV品牌,并于当年双十一成为首个单日销售过亿的彩电品牌,创造吉尼斯世界销售纪录。

 

案例背景

作为智能电视硬件厂商,酷开TV正在逐步对他们的用户进行精细化运营,从而实现流量价值的最大化。为此,他们计划将现有电视商城板块的布局做出一些调整,希望改版后的商城可以在带来更好商业价值的同时,也获得更多用户的认可。他们早就计划对这次改版进行A/B测试,但是由于他们的产品平台的特殊性(基于安卓打造的智能电视系统),一直没有找到合适的第三方测试平台。

AppAdhoc作为国内唯一一家支持前、后端A/B测试的云服务平台,SDK的产品兼容性可以满足酷开TV产品部门的要求,确定了酷开的测试需求后,双方开始配合试验的接入工作。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

针对现有会员购买页面,产品部门设计试验方案如下:

%e9%85%b7%e5%bc%80tv-%e4%bc%9a%e5%91%981

原始版本:在会员购买页面价格策略顺序为 : 连续包月+费用,1个月+费用,3个月+费用年费+费用, 年费+费用

试验版本:在会员购买页面价格策略顺序为:12个月+费用+(限时特惠 低至字样),3个月+费用,连续包月+费用,1个月+费用(如上图)。

同时,各个价格按钮点击率,进入支付页面的曝光量, 扫码成功次数和转化金额作为本次试验的核心关注指标。

 

测试目标

本次试验的主要目标是,对比不同的价格排序策略,通过观察漏斗中的次级指标和核心指标,最大限度提升会员购买转化金额。

 

A/B测试数据反馈

此次试验在酷开TV的智能电视系统进行,累计运行了5周的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学的数据结论:

  • 原始版本的会员购买页面各个会员产品的点击分别为500次(连续包月),90次(1个月),105次(3个月),200次(包年);试验版本的会员购买页面各个会员产品的点击分别为270次(包年),120次(3个月),250次(连续包月),50次(1个月);
  • 虽然在个别价格位置上转化率降低,但是观察总体转化金额提升了提升了14%, 95%置信区间为[ + 10%,  + 18%]
  • 综合评估后,结合统计试验数据和公司现阶段业务目标,产品和运营人员决定全量发布试验版本到100%流量,并在后续的发版迭代中采用此方案。

 

1690 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。