公司简介

作为面向全球用户的工具类出海公司，该客户致力于为全球用户提供高效易用的工具类产品。目前产品主要利用自有传输协议，在保证传输速度的同时，确保带宽的有效利用，同时基于SDN的服务器控制平台实现最优路径的选择与下发，在全球复杂网络环境下优化用户网络速度。

案例背景

众所周知，工具类产品变现越来越困难，生硬的广告不但对用户体验有损，而且广告转化效果较差，变现效率低下。因此，产品部门希望通过A/B测试找到用户点击率较高的广告入口，以此来提升产品变现效率。

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量，使企业可以在新版本上线之前，以最低成本观察客户对多个优化方案的数据反馈。同时，根据试验的数据发现用户反馈效果最好的版本，作为最终的新版本迭代方案。

根据现有广告入口的icon，产品部门设计试验方案如下：

原始版本：广告入口ICON为风车；

试验版本1：广告入口ICON为卫星；

试验版本2：广告入口ICON为机器人；

试验版本3：广告入口ICON为沙漏。

同时，将不同版本的icon点击率作为本次试验的核心关注指标。

测试目标

本次试验的主要目标是，寻找用户点击率最高的ICON，提高广告变现效率。

A/B测试数据反馈

此次试验在iOS端进行，累计运行了2周的时间（一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周）。在对试验数据进一步分析后，产品部门得到了科学的数据结论：

-原始版本用户点击率为28%；

-试验版本1用户点击率为34%；

-试验版本2用户点击率为42%；

-试验版本3用户点击率为29%；

-本次试验共有20w用户参与，最终试验版本2（icon为机器人）胜出，相比原始版本，用户的转化率提升了50%；

-根据试验数据，产品部门决定将新的icon设计（机器人图标）作为下次迭代的优化方案。