AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
作为某知名保险企业旗下重要成员,该公司于1995年10月经中国人民银行批准正式成立,注册地为北京,公司总部设在深圳。凭借母公司的雄厚资金、品牌和客户优势,秉承”稳中思变,务实创新”的经营理念,该公司建立了非常完善的合规和风险控制体系,各项业务均保持着强劲的增长态势,目前已经成长为国内主流券商之一。2006年,经中国证券业协会评审通过,该公司成为“创新类”券商之一。在“2007世界金融实验室年度大奖”评选中,该公司荣获“中国最值得信赖的十大证券公司”称号。
案例背景
为了进一步提高用户体验,产品部门决定开发交易持仓刷新功能。理想状况下,用户在使用该功能的过程中,对服务器集群不会造成太大的压力(服务器集群可以承受100%流量的压力)。但考虑到全量上线后可能导致的bug或崩溃风险,产品部门决定通过灰度发布的方式,逐步开放该功能用户流量。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。
本次试验采用灰度发布的方式,分批导入用户流量,原始版本流量为0,试验版本的初始分配流量2%,在保证新功能使用流畅无bug的前提下,将试验版本流量逐步调整至10%,直至放量给全部用户。
测试目标
此次试验主要目的在于观察新功能有无bug,是否会导致APP异常崩溃,以及在功能正常使用的情况下,对服务器集群的压力情况。
A/B测试数据反馈
本次试验在安卓和iOS端分别运行,试验运行周期为19天。根据AppAdhoc A/B Testing的实时数据反馈,产品部门做出了针对这项功能的决策:
-该功能上线后,产品后台并未收到bug反馈,同时APP没有出现异常崩溃现象;
-随着该功能的流量逐步开放,尽管用户体验优化,但后台服务器所承受的压力却远远超出产品技术部门的预期;
-从功能全量发布后的风险角度考量,产品部门最终决定暂缓该功能的正式上线。