AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

墨迹天气分享图标优化

公司简介

墨迹天气提供最专业、最稳定的天气查询服务,让人们能够知晓天气变化,提前做好出行计划,更智能的生活。墨迹天气陆续在Android、iOS、Windows Phone手机平台推出了国际版,支持196个国家70多万个城市及地区的天气查询,分钟级、公里级天气预报,帮助用户更好做出生活决策。2013年,首创时景天气——实时天气照片的众包平台。通过智能识别,根据照片信息自动进行天气信息校正,实现了UGC辅助PGC,PGC指导UGC的良性循环。2014年,墨迹天气将软件延伸到硬件,首次发布空气检测智能硬件——空气果,智能硬件让空气连接,不仅提供户外的天气信息还关心用户室内空气质量,室内和室外的结合,将人们的生活场景描述的更加完整化。墨迹天气通过软硬结合的方式,将业务由宏观天气扩展到微观的个人家居环境,打造环形移动互联网生活体验。2016年,墨迹注册用户超过5亿,提出并践行“天气+”,以气象大数据为基础,将天气作为入口,提供给用户更多生活化、场景化的服务。

 

案例背景

为了扩大产品的社交传播,产品部门希望新版本可以增加用户在客户端内使用分享按钮的次数,提高分享按钮的转化率。为此他们策划了三套优化方案,用来验证哪种分享图标的样式效果最好。在决定新版本执行哪个优化方案之前,他们希望有具体、客观的数据来了解不同方案对分享点击率的影响,从而做出产品的最终决策。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现客户反馈最好的版本,作为最终的新版本迭代方案。

产品部门将策划的三套优化方案集成到AppAdhoc A/B Testing中,生成了包含3个试验版本和1个原始版本的 A/B测试 雏形。

方案一:原始版本,分享图标样式为两条直线连接的三个空心圆。

方案二:相比原始版本,分享图标为圆形由空心变为实心。

方案三:分享图标为长方形上部空出+向上的箭头。

方案四:分享图标为长方形右上角空出+向右上方的箭头。

%e5%9b%9b%e7%a7%8d%e6%96%b9%e6%a1%88%e5%af%b9%e6%af%94

 

测试目标

此次试验主要关注在4套的优化方案中,APP主页中分享图标的点击率的变化幅度以及这些改动对分享率的影响,选出数据最优、综合反馈最好版本作为新版本的迭代方案。

 

A/B测试数据反馈

此次的 A/B 测试放置在小渠道发布,通过AppAdhoc A/B Testing产品的科学流量分割机制,随机向 4 个方案各分配 25%的流量,试验持续了两周(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),随后,各个试验的数据反馈使墨迹的产品部门立即得到了他们想要的答案。

-方案3最终胜出,相比其他版本,方案3中分享图标的点击率上涨了近20%,这对用户量过亿的墨迹天气来说,是一个不小的提升;

-从整体活跃以及留存角度来看,方案2和方案4相对于方案1的差别不大,没有很明显的提升效果;

从本次的试验过程中,产品部门通过数据的反馈,发现分享图标为方案3时,可以获得更多的用户点击和分享。

3522 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。