AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

墨迹天气Tab电商入口优化

公司简介

墨迹天气提供最专业、最稳定的天气查询服务,让人们能够知晓天气变化,提前做好出行计划,更智能的生活。墨迹天气陆续在Android、iOS、Windows Phone手机平台推出了国际版,支持196个国家70多万个城市及地区的天气查询,分钟级、公里级天气预报,帮助用户更好做出生活决策。2013年,首创时景天气——实时天气照片的众包平台。通过智能识别,根据照片信息自动进行天气信息校正,实现了UGC辅助PGC,PGC指导UGC的良性循环。2014年,墨迹天气将软件延伸到硬件,首次发布空气检测智能硬件——空气果,智能硬件让空气连接,不仅提供户外的天气信息还关心用户室内空气质量,室内和室外的结合,将人们的生活场景描述的更加完整化。墨迹天气通过软硬结合的方式,将业务由宏观天气扩展到微观的个人家居环境,打造环形移动互联网生活体验。2016年,墨迹注册用户 过5亿,提出并践行“天气+”,以气象大数据为基础,将天气作为入口,提供给用户更多生活化、场景化的服务。

 

案例背景

目前墨迹天气处于转型、流量变现阶段,作为一款工具类产品,这个阶段每一步尝试都至关重要,产品和业务部门要确保在实现突破、创新的同时,保证现有用户活跃和留存的稳定。

为了让用户可以持续停留在平台上,墨迹团队考虑在产品中接入电商入口,在主页Tab中,将多出一个精选按钮引导用户进入电商平台。由于是一个全新的业务功能,考虑到这个功能的稳定性、对现有功能的使用热度的影响以及给墨迹整体用户带来的变化,他们希望通过A/B测试先看下效果,再决定是否正式上线。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

基于现有产品主页Tab样式,产品部门设计了包括1个原始版本在内的3个设计方案,具体内容如下:

%e7%94%b5%e5%95%86%e5%85%a5%e5%8f%a3%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

%e7%94%b5%e5%95%86%e9%a1%b5%e9%9d%a2%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:主页Tab共有3个功能入口,分别为“天气、时景、我”;

试验版本A:将主页Tab增加一个“商城”入口,用户点击进入功能页后,访问有banner位的商城页面;

试验版本B:将主页Tab增加一个“商城”入口,用户点击进入功能页后,访问有8个主题版块的商城页面。

同时,将Tab按钮的点击情况设置为本次试验的核心关注指标。

 

测试目标

本次试验主要在于验证“商城”功能的稳定性,以及该功能上线后,用户的使用情况,并且观察是否会对原有功能的使用热度造成影响。

 

A/B测试数据反馈

此次的 A/B 测试主要应用场景在安卓端,试验周期为两周(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。经过产品部门和吆喝科技客户成功部门的共同分析,试验结论主要如下:

-数据显示两个试验版的电商接口引流效果都不错,用户对两个版本电商接口的热度都很高;

-相对原始版本,两个试验版本在现有功能Tab的点击上,都出现了不同程度的下降,其中对“时景”功能的影响最为明显,降幅在20%以上;

-新功能的上线,必然会更多的吸引用户的眼球和精力,墨迹天气的产品和商务团队,将基于公司发展方向、电商业务实际转化以及对用户使用影响的几个方向去综合考量,从而决定是否会正式上线“商城”模块;

-不论最终决定如何,本次试验都提供了为墨迹提供了很重要的数据决策依据。

3884 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。