AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名保险企业旗下证券公司交易持仓刷新功能灰度发布

公司简介

作为某知名保险企业旗下重要成员,该公司于1995年10月经中国人民银行批准正式成立,注册地为北京,公司总部设在深圳。凭借母公司的雄厚资金、品牌和客户优势,秉承”稳中思变,务实创新”的经营理念,该公司建立了非常完善的合规和风险控制体系,各项业务均保持着强劲的增长态势,目前已经成长为国内主流券商之一。2006年,经中国证券业协会评审通过,该公司成为“创新类”券商之一。在“2007世界金融实验室年度大奖”评选中,该公司荣获“中国最值得信赖的十大证券公司”称号。

 

案例背景

为了进一步提高用户体验,产品部门决定开发交易持仓刷新功能。理想状况下,用户在使用该功能的过程中,对服务器集群不会造成太大的压力(服务器集群可以承受100%流量的压力)。但考虑到全量上线后可能导致的bug或崩溃风险,产品部门决定通过灰度发布的方式,逐步开放该功能用户流量。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

%e5%b9%b3%e5%ae%89%e8%af%81%e5%88%b8-%e4%ba%a4%e6%98%93%e6%8c%81%e4%bb%93%e5%88%b7%e6%96%b0%e5%8a%9f%e8%83%bd

本次试验采用灰度发布的方式,分批导入用户流量,原始版本流量为0,试验版本的初始分配流量2%,在保证新功能使用流畅无bug的前提下,将试验版本流量逐步调整至10%,直至放量给全部用户。

 

测试目标

此次试验主要目的在于观察新功能有无bug,是否会导致APP异常崩溃,以及在功能正常使用的情况下,对服务器集群的压力情况。

 

A/B测试数据反馈

本次试验在安卓和iOS端分别运行,试验运行周期为19天。根据AppAdhoc A/B Testing的实时数据反馈,产品部门做出了针对这项功能的决策:

-该功能上线后,产品后台并未收到bug反馈,同时APP没有出现异常崩溃现象;

-随着该功能的流量逐步开放,尽管用户体验优化,但后台服务器所承受的压力却远远超出产品技术部门的预期;

-从功能全量发布后的风险角度考量,产品部门最终决定暂缓该功能的正式上线。

2323 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。