公司简介

作为某知名保险企业旗下重要成员，该公司于1995年10月经中国人民银行批准正式成立，注册地为北京，公司总部设在深圳。凭借母公司的雄厚资金、品牌和客户优势，秉承”稳中思变，务实创新”的经营理念，该公司建立了非常完善的合规和风险控制体系，各项业务均保持着强劲的增长态势，目前已经成长为国内主流券商之一。2006年，经中国证券业协会评审通过，该公司成为“创新类”券商之一。在“2007世界金融实验室年度大奖”评选中，该公司荣获“中国最值得信赖的十大证券公司”称号。

案例背景

为了进一步提高用户体验，产品部门决定开发交易持仓刷新功能。理想状况下，用户在使用该功能的过程中，对服务器集群不会造成太大的压力（服务器集群可以承受100%流量的压力）。但考虑到全量上线后可能导致的bug或崩溃风险，产品部门决定通过灰度发布的方式，逐步开放该功能用户流量。

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征。同时，平台还支持灰度发布的功能，企业可在试验过程中随时调整用户流量，在版本稳定无bug的前提下，逐步扩大新版的使用群体，完成产品发布的平稳过渡。

本次试验采用灰度发布的方式，分批导入用户流量，原始版本流量为0，试验版本的初始分配流量2%，在保证新功能使用流畅无bug的前提下，将试验版本流量逐步调整至10%，直至放量给全部用户。

测试目标

此次试验主要目的在于观察新功能有无bug，是否会导致APP异常崩溃，以及在功能正常使用的情况下，对服务器集群的压力情况。

A/B测试数据反馈

本次试验在安卓和iOS端分别运行，试验运行周期为19天。根据AppAdhoc A/B Testing的实时数据反馈，产品部门做出了针对这项功能的决策：

-该功能上线后，产品后台并未收到bug反馈，同时APP没有出现异常崩溃现象；

-随着该功能的流量逐步开放，尽管用户体验优化，但后台服务器所承受的压力却远远超出产品技术部门的预期；

-从功能全量发布后的风险角度考量，产品部门最终决定暂缓该功能的正式上线。