AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某工具类产品广告入口icon优化

公司简介

作为面向全球用户的工具类出海公司,该客户致力于为全球用户提供高效易用的工具类产品。目前产品主要利用自有传输协议,在保证传输速度的同时,确保带宽的有效利用,同时基于SDN的服务器控制平台实现最优路径的选择与下发,在全球复杂网络环境下优化用户网络速度。

 

案例背景

众所周知,工具类产品变现越来越困难,生硬的广告不但对用户体验有损,而且广告转化效果较差,变现效率低下。因此,产品部门希望通过A/B测试找到用户点击率较高的广告入口,以此来提升产品变现效率。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

根据现有广告入口的icon,产品部门设计试验方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:广告入口ICON为风车;

试验版本1:广告入口ICON为卫星;

试验版本2:广告入口ICON为机器人;

试验版本3:广告入口ICON为沙漏。

同时,将不同版本的icon点击率作为本次试验的核心关注指标。

 

测试目标

本次试验的主要目标是,寻找用户点击率最高的ICON,提高广告变现效率。

 

A/B测试数据反馈

此次试验在iOS端进行,累计运行了2周的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学的数据结论:

-原始版本用户点击率为28%;

-试验版本1用户点击率为34%;

-试验版本2用户点击率为42%;

-试验版本3用户点击率为29%;

-本次试验共有20w用户参与,最终试验版本2(icon为机器人)胜出,相比原始版本,用户的转化率提升了50%;

-根据试验数据,产品部门决定将新的icon设计(机器人图标)作为下次迭代的优化方案。

2565 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。