AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

酷开TV 影视中心试看结束优化

公司简介

深圳酷开网络科技有限公司成立于2006年10月,是一家专注智能电视研发以及客厅娱乐内容运营的互联网科技公司。作为创维旗下新高端互联网电视品牌,酷开专注电视产品新形态以及电视平台内容增值服务,为中国家庭用户提供软件、硬件、服务一体化的酷开电视,通过全国最大的智能电视系统-酷开系统,为千万级中国家庭提供内容与服务。在智能电视领域深耕多年后,于2013年推出酷开TV品牌,并于当年双十一成为首个单日销售过亿的彩电品牌,创造吉尼斯世界销售纪录。

 

案例背景

作为智能电视硬件厂商,酷开TV正在逐步对他们的用户进行精细化运营,从而实现流量价值的最大化。为此,他们计划将现有电视商城板块的布局做出一些调整,希望改版后的商城可以在带来更好商业价值的同时,也获得更多用户的认可。他们早就计划对这次改版进行A/B测试,但是由于他们的产品平台的特殊性(基于安卓打造的智能电视系统),一直没有找到合适的第三方测试平台。

AppAdhoc作为国内唯一一家支持前、后端A/B测试的云服务平台,SDK的产品兼容性可以满足酷开TV产品部门的要求,确定了酷开的测试需求后,双方开始配合试验的接入工作。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

针对影视中心中的vip 内容,对于非会员或者会员过期的用户,产品部门设计试验方案如下:

%e9%85%b7%e5%bc%80%e7%bb%93%e6%9d%9f1

原始版本:文案为“试看结束,开通会员继续观看“, 按钮布局为“再看一遍”再左,“开通会员“在右;

试验版本:文案为“试看结束,开通会员可观看完整影片“,按钮布局为“开通会员”再左,“再看一遍“在右;

同时,用户进入不同试看结束页面后,开通会员按钮的点击次数,以及最终扫码购买成功返回作为本次试验的核心关注指标。

 

测试目标

本次试验的主要目标是,对比不同的试看结束页面的文案和布局,并找到转化效果更好的设计方案。

 

A/B测试数据反馈

此次试验在酷开TV的智能电视系统进行,累计运行了4周的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学的数据结论:

  • 原始版本的各区域产品详情内容总点击1345618次,人均0.448次;试验版本的总点击次1547460,日均0.51,相比原始版本提升了15%。95%置信区间[+10%, +20%]
  • 在扫码成功指标表现试验方案也明显高于原始方案10%, 95%置信区间[+5%, 15%]
  • 综合评估后,产品部门决定采用试验版本中的文案和按钮布局设计。

 

1440 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。