AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

摩拜单车第三方监测日志灰度发布

公司简介

摩拜单车创建了全球首个智能共享单车模式,其自主研发的专利智能锁集成了GPS和通讯模块,采用了新一代物联网技术,通过智能手机APP让用户随时随地可以定位并使用最近的摩拜单车,骑行到达目的地后,就近停放在路边合适的区域,关锁即实现电子付费结算。

摩拜单车于2015年1月成立,2016年4月22日地球日当天在上海正式推出智能共享单车服务,并已先后进入上海、北京、广州、深圳、成都、宁波、佛山、厦门、武汉、东莞、昆明、南京、珠海、海口、南宁等30多个国内城市和海外城市新加坡,稳居全球最大的智能共享单车运营平台。摩拜在所到的城市中掀起骑行的热潮,推动“让自行车回归城市”,为更多人的出行带来方便,也给城市倡导绿色出行提供了可持续发展的智能解决方案。

 

案例背景

摩拜的产品部门有计划于近期引入第三方的监测日志,但考虑到盲目上线后可能会带来的产品性能风险,给用户体验造成不良影响,他们希望借助AppAdhoc的灰度发布功能,先给小流量用户更新带有第三方监测日志的版本,通过观察用户的使用情况,再决定是否将该日志正式发布至全量用户。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

本次试验采用灰度发布的方式,在后台逐步放大参与试验版本(使用第三方监测日志)的用户流量。同时,结合摩拜单车系统自带的日志,观察崩溃率、系统性能、CPU利用率和卡顿率等指标,实时掌握用户使用状况,并进行效果分析。

 

测试目标

此次试验的主要目的在于,验证第三方监测日志的使用是否会给用户体验造成不良影响,在保证使用状况良好的前提下,逐步放大直至全量上线该日志,反之则可及时避免上线风险。

 

A/B测试数据反馈

本次试验在安卓端进行,考虑到摩拜单车的较大用户量,试验周期只维持了一周的时间,产品部门就得出了科学的试验结论。

-通过AppAdhoc后台的分流机制,产品部门逐步开放了90%的流量到试验版本(使用第三方监测日志),根据摩拜系统自带日志分析,原始版本的用户体验更好;

-分析发现,第三方监测日志会导致CPU利用率卡顿,影响了2W个用户的设备的性能,其中,有5000台左右的系统被卡死(CPU利用率100%);

-产品部门随即将试验版本关停,暂不发布带有第三方监测日志的应用版本,本次试验有效的验证了新功能包含的潜在风险,避免了全量上线可能造成的负面影响。

4189 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。