AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
广州银行是由广州市政府控股的股份制商业银行,其前身为在46家城市信用合作社的基础上组建的广州城市合作银行,成立于1996年9月17日。后更名为广州市商业银行股份有限公司。2009年9月,获准更名为广州银行股份有限公司。目前,广州银行共有119个机构网点,包括分行12家(含信用卡中心)、支行106家。
案例背景
广州银行的互联网组成立时间不长。此前,产品人员往往是靠经验对网申信用卡版本的进行迭代优化,但接触A/B测试后,他们发现可以打破以往的经验主义,进一步加快迭代速度,降低引流成本,大胆地接受互联网创新模式带来的突破。目前,AppAdhoc A/B Testing已经成为广州银行信用卡中心互联网组的必备工具。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。
本次试验,产品部门提出假设:如果把普卡的位置前置,可以增加信用卡普卡的申请率,并基于这个假设,设计方案如下:
原始版本:用户进入网申页面后,会首先看到移动联名卡,再向左右翻页,分别看到南航卡和普卡;
试验版本:将卡板顺序调整至南航卡-普卡-移动联名卡,即用户进入页面后首先展示普卡信息,其余页面元素保持不变。
同时,将普卡页面的“确认申请”按钮点击情况作为本次试验的核心关注指标。
测试目标
这次试验的主要目标是,验证互联网组的试验假设是否成立,并找到可以进一步提高普卡申请率的优化方案。
A/B测试数据反馈
本次试验在H5页面获客端进行,周期为两周(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。通过对试验数据的对比分析,产品部门得到了科学的试验结论。
-试验版本胜出(前置普卡位置),相比原始版本,普卡转化率至少会提升4%,说明试验假设成立;
-试验结果表明,用户对普卡的接受度较好,当用户浏览到普卡信息后,会直接选择申请,能够有效提升普卡的申请比例。