AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

小恩爱HTTPS功能试验

公司简介

小恩爱是2011年7月创建一款情侣应用产品,能够从生活服务的各个角度满足情侣的不同需求。秉持着“让天下情侣更幸福”的原则,小恩爱为情侣提供了多种私密功能,情侣可通过产品免费发送只有彼此才能看到的短信、语音和图片等,打造属于情侣的最私密的二人世界。除此之外,小恩爱致力于为情侣提供全面的一站式服务,不断完善对情侣生态场景产品的发展,包括情侣游戏、礼物电商、恋爱保险、情侣金融、周末旅行、情侣主题餐厅和酒店等等,让情侣可以轻松享受丰富多彩的二人世界。截至2016年7月,小恩爱已成功收获了8000万精准用户,月交易额达到3000万元。

 

案例背景

小恩爱会不定期在应用内举行一些活动,并通过H5页面落地实施。几次活动之后,产品部门收到不少用户在活动页面中看到莫名其妙广告的反馈,严重影响了用户体验。通过技术排查定位后,产品技术部门发现出现无端广告的原因:产品的网络请求在HTTP协议下,活动相关的页面数据易被篡改,被篡改的H5页面被运营商劫持并植入广告。

相较之下,HTTPS协议可以更有效的防止页面数据被篡改。但考虑到网络环境比较复杂,如果直接全量发布遵循HTTPS协议的产品,可能会引发全站的网络错误问题。因此,产品技术部门决定采用吆喝科技提供的 A/B测试解决方案 ,验证HTTPS协议的实际可行性。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

本次试验采用单变量A/B测试的方式,原始版本保持HTTP协议不变,将试验版本调整为遵从HTTPS协议,其余产品元素没有任何改动。同时,设定“网络请求错误数”为本次试验的关键优化指标。

 

测试目标

此次试验的主要目的在于,观察产品在更换网络请求的协议后,是否能够有效的防止页面数据被篡改,以及是否会引发全站的网络错误问题。最终根据关键优化指标情况,结合用户的体验反馈,选择出综合最佳的版本。

 

A/B测试数据反馈

本次试验在安卓和iOS端分别运行,每个移动端对应两个不同的版本,具体时间安排及流量配置如下:通过AppAdhoc A/B Testing的科学流量分割机制,此次试验在运行了三个月之后(由于此次试验内容属于功能层面,为了避免功能上线前期的阶段性数据差异,应适当延长试验时间),得出了科学的试验结论。

-通过后台数据统计发现,HTTPS协议的错误请求数要明显低于HTTP协议的请求数据;

-试验期间,应用内举办过H5页面活动,整体收到“看到广告”的用户反馈数量明显减少。同时,没有用户反映出现新的网络使用问题;

-可见,HTTPS协议确实能够有效的避免网络遭到劫持,并且没有引发其他网络问题。因此,产品部门决定发布HTTPS协议的试验版本。

 

2976 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。