AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

小恩爱任务奖励灰度发布

公司简介

小恩爱是2011年7月创建一款情侣应用产品,能够从生活服务的各个角度满足情侣的不同需求。秉持着“让天下情侣更幸福”的原则,小恩爱为情侣提供了多种私密功能,情侣可通过产品免费发送只有彼此才能看到的短信、语音和图片等,打造属于情侣的最私密的二人世界。除此之外,小恩爱致力于为情侣提供全面的一站式服务,不断完善对情侣生态场景产品的发展,包括情侣游戏、礼物电商、情侣金融、周末旅行、情侣主题餐厅和酒店等等,让情侣可以轻松享受丰富多彩的二人世界。截至2016年7月,小恩爱已成功收获了8000万精准用户,月交易额达到3000万元。

 

案例背景

小恩爱APP即将上线“任务奖励”的新功能:用户根据任务指示完成对应行为,即可获得小恩爱产品中的虚拟钱币。这个功能的主要目的是通过奖励的方式,激励用户使用产品和相应功能,进一步促进用户活跃度。为了降低该功能上线时可能因bug造成的用户体验风险,产品部门决定通过灰度发布的功能,逐步调整新功能上线流量。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征。同时,平台还支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

本次试验中的“任务奖励”功能具体如下:

%e5%8e%9f%e5%a7%8b%e7%89%88%e6%9c%ac%e4%bb%bb%e5%8a%a1%e5%a5%96%e5%8a%b1-%e8%af%95%e9%aa%8c%e7%89%88%e6%9c%ac

新功能入口位于产品导航条“发现”页面的右上角,展现形式为圆形icon+“奖”文案,用户点击进入二级页面,将看到任务列表和虚拟货币金额,并根据账户情况进行奖励领取和恩爱币兑换。

 

测试目标

本次试验的主要目的在于,通过灰度发布避免“任务奖励”功能上线时出现bug等意外情况。依据用户反馈及内部体验情况,观察是否存在异常,判断是否可以逐步调大流量至该功能全量上线。

 

A/B测试数据反馈

本次试验在双平台同步运行(包括iOS 和Android),由于试验内容是针对新功能的灰度发布,所以本次试验中,没有给原始版本分配流量。试验成功与否的主要评判标准在于是否出现异常bug以及用户体验是否良好,因此小恩爱的产品部门对此次试验并没有明确的关键指标需求。

-试验的运行周期为5天,将初始流量设置为10%,持续观察2天后未发现异常,于是调大试验流量至20%,仍未发现异常情况;

-由于在灰度发布的流量调节过程中,新功能都没有出现异常现象,且用户反馈体验不错,因此产品部门决定全量上线新功能至所有线上用户。

3427 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。