公司简介

墨迹天气提供最专业、最稳定的天气查询服务，让人们能够知晓天气变化，提前做好出行计划，更智能的生活。墨迹天气陆续在Android、iOS、Windows Phone手机平台推出了国际版，支持196个国家70多万个城市及地区的天气查询，分钟级、公里级天气预报，帮助用户更好做出生活决策。2013年，首创时景天气——实时天气照片的众包平台。通过智能识别，根据照片信息自动进行天气信息校正，实现了UGC辅助PGC，PGC指导UGC的良性循环。2014年,墨迹天气将软件延伸到硬件，首次发布空气检测智能硬件——空气果，智能硬件让空气连接,不仅提供户外的天气信息还关心用户室内空气质量，室内和室外的结合，将人们的生活场景描述的更加完整化。墨迹天气通过软硬结合的方式，将业务由宏观天气扩展到微观的个人家居环境，打造环形移动互联网生活体验。2016年，墨迹注册用户 过5亿，提出并践行“天气+”，以气象大数据为基础，将天气作为入口，提供给用户更多生活化、场景化的服务。

案例背景

为了使产品得到更好的用户体验，产品部门希望新版本可以带来栏目点击率、转化率以及用户留存方面的提升。为此他们策划了三套优化方案，用来验证将 Feeds 入口放在端内哪个位置的效果更好，在决定新版本执行哪个优化方案之前，他们希望有具体、客观的数据来了解不同方案对关键运营指标的影响，从而通过数据做出产品的关键决策。

测试方案

AppAdhoc A/B测试驱动产品采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量，使企业可以在新版本上线之前，以最低成本观察客户对多个优化方案的数据反馈，从而根据试验的数据发现客户反馈最好的版本，作为最终的新版本迭代方案。

产品部门将几套集成到 A/B测试 中，生成了3个包含新方案的版本和1个原始版本；

方案一：原始版本（首页向下滚动底部有 Feeds、右上角有 feeds 入口），包括A/B/C/D所对应的栏目；功能结构如上图展示。

方案二：相比原始版本，将首页底部的 Feeds 版块 (D) 去掉，在时景和我之间加入一

个资讯栏目(E)， 此版本包括A/B/C/E所对应的栏目。

方案三：相比正常版本，将首页底部Feeds版块 (D) 和首页右上角的 Feeds版块 (A) 移除，在时景和我之间加入一个资讯栏目 (E)，此版本包括B/C/E所对应的栏目。

方案四：相比原始版本，将首页下面的指数 (B) 位缩短，由之前的 N行变为一行，

去掉首页底部 banner 广告(C)，此版本包括 A/B/D所对应的栏目，B栏目指数部分缩短。

测试目标

此次试验主要关注在4套的优化方案中，APP主页中各个栏目的点击率的变化幅度以及这些改动对用户留存的影响，选出数据最优、综合反馈最好版本作为新版本的迭代方案。

A/B测试数据反馈

此次的 A/B 测试放置在小渠道发布，通过AppAdhoc A/B Testing产品的科学流量分割机制，随机向 4 个方案各分配 25%的流量，试验持续了两周（一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周），随后，各个试验的数据反馈使墨迹的产品部门立即得到了他们想要的答案。

-方案4最终胜出，相比其他版本，方案4中主要栏目的点击率上涨了近10%，这对用户量过亿的墨迹天气来说，是一个不小的提升；

–从整体活跃以及留存角度来看，方案 2、3、4 相对于方案 1 都有所提高；

-从本次的试验过程中，产品部门通过数据的反馈，也了解到即将首页滑动到Feeds的路径缩短的方案可以获得更多的用户点击和页面留存；

-试验同样监控了不同方案对于周边相邻位置栏目的数据影响，此次试验数据反馈这些变化对其他栏目的影响非常小；虽然此次试验的核心关注指标的并不涉及这些栏目，但是这些信息为产品部门在后续的优化工作提供了宝贵的数据参考。