AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
作为面向全球用户的工具类出海公司,该客户致力于为全球用户提供高效易用的工具类产品。目前产品主要利用自有传输协议,在保证传输速度的同时,确保带宽的有效利用,同时基于SDN的服务器控制平台实现最优路径的选择与下发,在全球复杂网络环境下优化用户网络速度。
案例背景
众所周知,工具类产品变现越来越困难,生硬的广告不但对用户体验有损,而且广告转化效果较差,变现效率低下。因此,产品部门希望通过A/B测试找到用户点击率较高的广告入口,以此来提升产品变现效率。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。
根据现有广告入口的icon,产品部门设计试验方案如下:
(点此用AI快速作出好Logo和好海报)
原始版本:广告入口ICON为风车;
试验版本1:广告入口ICON为卫星;
试验版本2:广告入口ICON为机器人;
试验版本3:广告入口ICON为沙漏。
同时,将不同版本的icon点击率作为本次试验的核心关注指标。
测试目标
本次试验的主要目标是,寻找用户点击率最高的ICON,提高广告变现效率。
A/B测试数据反馈
此次试验在iOS端进行,累计运行了2周的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学的数据结论:
-原始版本用户点击率为28%;
-试验版本1用户点击率为34%;
-试验版本2用户点击率为42%;
-试验版本3用户点击率为29%;
-本次试验共有20w用户参与,最终试验版本2(icon为机器人)胜出,相比原始版本,用户的转化率提升了50%;
-根据试验数据,产品部门决定将新的icon设计(机器人图标)作为下次迭代的优化方案。