AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

小恩爱美洽客服灰度发布

公司简介

小恩爱是2011年7月创建一款情侣应用产品,能够从生活服务的各个角度满足情侣的不同需求。秉持着“让天下情侣更幸福”的原则,小恩爱为情侣提供了多种私密功能,情侣可通过产品免费发送只有彼此才能看到的短信、语音和图片等,打造属于情侣的最私密的二人世界。除此之外,小恩爱致力于为情侣提供全面的一站式服务,不断完善对情侣生态场景产品的发展,包括情侣游戏、礼物电商、情侣金融、周末旅行、情侣主题餐厅和酒店等等,让情侣可以轻松享受丰富多彩的二人世界。截至2016年7月,小恩爱已成功收获了8000万精准用户,月交易额达到3000万元。

 

案例背景

随着产品功能和第三方业务越来越丰富,产品团队考虑加入一个第三方客服功能入口,来处理用户在使用产品中的相关问题。对比之后,选择先接入美恰的客服SDK看下效果,小恩爱的产品团队非常关注产品的稳定性,任何涉及第三方的SDK的接入,都需要通过灰度发布的方式来评估可行性。本次试验的思路也借鉴了中国移动10086接入人工检测诈骗短信入口的案例。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

本次试验中的“美洽客服”功能具体如下:

%e7%be%8e%e6%81%b0%e5%ae%a2%e6%9c%8d%e8%b7%af%e5%be%84

将带美恰客服接口的版本做成灰度版本,新功能入口位于“设置”页面,用户点击“在线客服”进入对话页面。

 

测试目标

此次试验主要用于测试美洽第三方SDK的稳定性和用户使用情况,观察是否存在异常或bug,进一步评估这个在线客服接口是否可行。同时,基于灰度流量比例带来的用户反馈,预估线下客服团队的人员编制。

 

A/B测试数据反馈

本次试验在双平台同步运行(包括iOS 和Android),由于试验内容是针对新功能的灰度发布,所以本次试验中,没有给原始版本分配流量。通过AppAdhoc的动态流量分配功能,先设置带有美洽接口的试验版本初始流量为5%,线上监测美恰客服功能入口的稳定性以用户反馈数量。

-前半个月,放量双平台各5%的流量,美恰功能稳定性良好,带该接口的灰度版本也没用出现任何闪退和异常,客服团队也反馈在通过美恰客户端处理用户反馈的体验良好;

-放量到20%持续进行监测,在此期间,用户反馈数量提升,客服团队在适应美恰客户端的各项功能后,回复效率也大大提升;

-综合评估后,小恩爱的产品部门决定全量发布附带美恰客服入口的版本。

3207 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。