AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

某知名保险企业旗下证券公司登录系统灰度发布

公司简介

作为某知名保险企业旗下重要成员,该公司于1995年10月经中国人民银行批准正式成立,注册地为北京,公司总部设在深圳。凭借母公司的雄厚资金、品牌和客户优势,秉承”稳中思变,务实创新”的经营理念,该公司建立了非常完善的合规和风险控制体系,各项业务均保持着强劲的增长态势,目前已经成长为国内主流券商之一。2006年,经中国证券业协会评审通过,该公司成为“创新类”券商之一。在“2007世界金融实验室年度大奖”评选中,该公司荣获“中国最值得信赖的十大证券公司”称号。

 

案例背景

为了简化登录流程,进一步优化用户操作,产品部门即将上线新功能,即用户输入账号后,系统自动选择交易类型登录。但考虑到全量上线可能会给后台服务器造成过大压力,导致用户体验受到不良影响,产品部门决定采用 灰度发布 的形式发布新功能。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品新功能发布的平稳过渡。

%e5%b9%b3%e5%ae%89%e7%99%bb%e5%bd%95%e4%ba%a4%e6%98%93%e7%b1%bb%e5%9e%8b%e7%81%b0%e5%ba%a6%e5%8f%91%e5%b8%83%e5%af%b9%e6%af%94

本次试验采用灰度发布的方式,分批导入用户流量,初始分配流量5%,在保证新功能使用流畅无bug的前提下,逐步按照10%、20%、50%调整流量,直至放量给全部用户。定义主要优化指标为:次日留存率、周留存率。

 

测试目标

此次试验主要用于测试新功能的用户使用情况,检验新方案有无bug,并观察主要指标。在保证用户使用正常的前提下,判断新功能是否对用户体验有积极影响,根据数据反馈逐步调整新功能的用户流量,最终做出产品功能的上线决策。

 

A/B测试数据反馈

本次试验在安卓和iOS端分别运行,每个移动端对应两个不同的试验版本。通过AppAdhoc A/B Testing的灰度发布功能,此次试验在上线一个月左右之后,试验数据结果趋于稳定,产品部门在分析过后得到了他们想要的答案。

-用户对新功能的反响很好,从试验数据来看,用户的次日留存率和周留存率都一定提升;

-在试验进行过程中,新功能未发现显著bug,同时服务器压力得到了有效缓解;

-产品部门根据数据反馈,发现新功能的上线给产品带来了积极的数据改变,于是决定正式上线该功能。

 

特别说明:由于该公司相关隐私保护要求,本案例暂不公开该公司或产品的具体名称。

2925 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。