AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
虎扑成立于2004年,是中国资源优势及营销实力的专业体育营销公司,总部位于上海。作为中国最大的体育互联网平台,虎扑为5000万的全平台月均活跃用户提供体育新闻,互动社区,电子商务,赛事活动等服务。其拥有1.5亿的PC端日均访问量,5600万的APP装机量。同时,虎扑与30多家国内外顶级体育组织机构结成战略合作伙伴关系,其中包括中国篮协、中超联赛、国家体育场、美国橄榄球联盟、德甲拜仁慕尼黑俱乐部、英超利物浦俱乐部、荷甲阿贾克斯俱乐部等。作为国内互联网体育的领导者和体育互动娱乐行业新平台建设者,虎扑将为所有喜爱体育的人们提供完整的覆盖线上线下的多样化服务、内容和应用,同时致力于帮助其他企业和机构在该生态系统中寻求最大化的商业价值与创新机会。
案例背景
对于资讯类移动端产品而言,如何通过多种渠道获取新用户,是虎扑的产品运营部门非常关注的增长环节。其中,由老客户自发分享至各个渠道是引流新用户的重要方式之一。参考AppAdhoc此前在墨迹天气上的成功案例,虎扑也希望从分享图标入手,尝试优化效果。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。
参考以往案例,产品运营部门设计试验方案如下:
原始版本:页面右上角的分享图标为 “ ··· ”;
试验版本:将分享图标替换为iOS分享按钮,其余页面元素保持不变。
同时,将分享按钮的点击次数设置为本次试验的主要优化指标。
测试目标
本次试验的主要目标是,验证“将Android端帖子分享按钮,换成iOS默认分享按钮可以提升分享转化”是否成立,进一步优化客户端分享转化。
A/B测试数据反馈
此次试验在虎扑的Android端进行,运行周期为10天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了最终的结论。
-原始版本(原Android端分享图标)胜出,试验版本的按钮点击率相比下降36%,去重后的数据也比原始版本低7.37%;
-本次试验的样本量共计36w+(每个版本18w+),数据显示置信区间收敛且功效足够,说明iOS的分享图标并不能带来更高的点击转化;
-尽管借鉴了墨迹天气的成功案例,但虎扑的用户群却表现出相反的结果,再一次体现了正式发版前A/B测试的重要性,同时也为虎扑进一步优化分享转化明确了方向。