AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

小恩爱HTTPDNS功能试验

公司简介

小恩爱是2011年7月创建一款情侣应用产品,能够从生活服务的各个角度满足情侣的不同需求。秉持着“让天下情侣更幸福”的原则,小恩爱为情侣提供了多种私密功能,情侣可通过产品免费发送只有彼此才能看到的短信、语音和图片等,打造属于情侣的最私密的二人世界。除此之外,小恩爱致力于为情侣提供全面的一站式服务,不断完善对情侣生态场景产品的发展,包括情侣游戏、礼物电商、恋爱保险、情侣金融、周末旅行、情侣主题餐厅和酒店等等,让情侣可以轻松享受丰富多彩的二人世界。截至2016年7月,小恩爱已成功收获了8000万精准用户,月交易额达到3000万元。

 

案例背景

产品部门收到很多用户反馈:在应用内进行部分操作时频繁接收到“网络不给力”的错误提示,这在很大程度上影响了用户体验。经过技术排查分析后,产品技术部门发现由于域名遭到劫持,部分用户在使用过程中发出的请求无法到达产品服务器,造成了错误反馈。

为了解决这一问题,小恩爱技术部门建议将域名进一步处理,在本地把域名处理成IP。但考虑到网络环境比较复杂,直接全量处理可能引发全站的网络错误问题,这样会带来巨大的风险。因此,产品部门决定采用吆喝科技提供的 A/B测试 解决方案,用用户数据反馈验证通过HTTPDNS技术处理域名的实际可行性。

 

测试方案

AppAdhoc A/B Testing通过科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察用户对优化方案的真实数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

本次试验采用单变量A/B测试的方式,原始版本保持原有域名方式不变,将试验版本通过HTTPDNS技术处理域名,其余产品元素没有任何改动。同时,设定“网络请求错误数”为本次试验的关键优化指标。

 

测试目标

此次试验的主要目的是观察经HTTPDNS技术能否有效解决用户在应用内操作时的网络问题,以及是否会导致全站的网络错误;同时观察实施这个技术对产品整体稳定性的影响。最终,根据关键优化指标结合用户的体验反馈,选择出综合最佳的版本。

 

A/B测试数据反馈

本次试验在安卓和iOS端分别运行,每个移动端对应两个不同的版本,具体时间安排及流量配置如下:通过AppAdhoc A/B Testing的科学流量分割机制,此次试验在运行了三个月之后(由于此次试验内容属于功能层面,为了避免功能上线前期的阶段性数据差异,适当延长了试验时间),得出了科学的试验结论。

-试验运行一段时间之后,线下收到用户反馈“网络不给力”的数量明显减少;

-但是试验数据的统计结果显示,试验版本的网络请求错误数略大于原始版本;

-尽管线下收到网络不给力提示的反馈数量降低,但考虑到试验结果以及这个功能对整体用户体验的重要影响,产品部门决定暂时不发布试验版本;并继续对HTTPDNS技术进行深层优化;

-产品部门将通过后续的试验去进一步验证这项功能的稳定性以及对整体用户体验的影响。

3118 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。