AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

小恩爱JSPatch热更新灰度发布

公司简介

小恩爱是2011年7月创建一款情侣应用产品,能够从生活服务的各个角度满足情侣的不同需求。秉持着“让天下情侣更幸福”的原则,小恩爱为情侣提供了多种私密功能,情侣可通过产品免费发送只有彼此才能看到的短信、语音和图片等,打造属于情侣的最私密的二人世界。除此之外,小恩爱致力于为情侣提供全面的一站式服务,不断完善对情侣生态场景产品的发展,包括情侣游戏、礼物电商、恋爱保险、情侣金融、周末旅行、情侣主题餐厅和酒店等等,让情侣可以轻松享受丰富多彩的二人世界。截至2016年7月,小恩爱已成功收获了8000万精准用户,月交易额达到3000万元。

 

案例背景

很多产品在迭代版本发布后,总会不可避免的遇到一些问题bug,小恩爱也不例外。每当遇到一些突发紧急、且问题严重的bug,小恩爱的产品技术部门之前的做法通常是:尽快将问题修复,之后重新提交到应用商店审核发布。而应用商店的等待周期较长,在此期间,因问题带来的用户负面影响很难控制。

为此,产品技术部门决定参考手游的迭代方法,采用热更新技术,通过远程打补丁修复一些bug,用户无需更新应用就可即时生效。但由于相关经验的欠缺,产品技术部门决定通过吆喝科技提供的A/B测试解决方案里 灰度发布 的方法,验证热更新技术的有效性。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

小恩爱的产品部门将技术部门在iOS平台上研发的JSPatch热更新技术灰度发布给部分真实用户,通过监测新版本的用户数据并与原始版本进行对比,综合考量分析,最终决定是否将此项技术全量应用到所有iOS端中。

 

测试目标

此次试验主要用于测试JSPatch热更新技术对突发bug的解决能力。在保证用户使用正常的前提下,逐步调大流量,观察是否存在异常,判断能否全面应用该项技术。

 

A/B测试数据反馈

本次试验在iOS端进行,在试验的三个月期间内,正好遇到应用的闪退bug。产品技术部门立即将流量调大,利用JSPatch热更新接口远程打补丁试图修复bug,在试验过程中观察闪退问题的修复情况。

-补丁上线后,发现应用的闪退问题并未得到全面修复。由此可见热更新技术还无法推送给所有用户,需要从技术层面进一步优化后再观察;

-综合评估后,产品部门决定将试验停止,关闭JSPacth热更新接口;同时,排期对该接口的功能做进一步优化和测试;

在经过几周的深度优化和测试后,技术部门通过在AppAdhoc A/B Testing克隆试验,继续对该功能进行灰度发布测试效果;

最终,数据和用户反馈证明该功能可以使他们在不重新发版的前提下,向客户端推送修复补丁并执行修复进程,即达到了预期的效果;因此,他们通过AppAdhoc A/B Testing将此功能推送给所有iOS端的用户。

3388 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。