人人都应该了解的A/B测试

%e4%ba%ba%e4%ba%ba%e9%83%bd%e5%ba%94%e8%af%a5%e4%ba%86%e8%a7%a3%e7%9a%84

当下,我们发现各个行业的小伙伴对A/B测试的关注越来越强烈了,在线上线下活动中的提问的也越来越有深度。即便如此,我们发现大家对很多基础问题,还处于模糊理解的状态。比如,哪些元素可以作为A/B测试对象,在A/B测试过程中要注意什么,以及如何对A/B测试结果进行有效解读等。

 

为了让大家能够顺利跨越初级者的门槛,多角度、由浅入深去理解A/B测试并熟练运用到日常的产品、运营、市场业务中,逐渐成长为一名善用A/B测试的增长黑客,我们决定之后不定期给大家的推荐一些以简单、实用为主的干货,帮助大家能够快速利用A/B测试实现产品优化。

 

今天,我们先来看看最基础的内容:
在做A/B测试前,你需要先确认的除了产品日活以外(想要得到可作为参考的A/B 测试的结果需要大量用户数据支撑,日流量越大的网站 App 得出结果越准确。日活1000是一个门槛,如果你的日活用户低于1000,那么你暂时很难通过A/B 测试达到你想要的结果),就是试验目的和试验场景;每一个A/B测试中的试验版本都是基于试验目的和试验场景来搭建的。

 

1.试验目的
试验目的就是通过此次测试,你希望提升哪些产品的业务指标,关于这些指标的数据将在A/B测试中进行统计并分析,并在试验周期结束作为参考。和我们在开展任何其他工作之前一样,在做A/B测试之前,你也要首先为此次测试设定一个目标。明确这个目标的重要性和做产品时需要明确解决用户哪些问题是一样的。确立一个有效、可追踪的目标可以使你在创建试验场景时思路更加清晰。这个目标可以是一个事件点击的提升,或者是一个产品展示转化的提升,然而产品拉新、留存或者是 LTV 类似的指标不建议作为试验提升的首要目标,因为可以影响到这些指标的因素很多,你不可能从一次A/B测试的数据结果中,就自信满满的确认某某改动立即将月用户留存提升了多少多少,即便留存在测试阶段真的提高了,这个推断也只能仅供参考,因为这类比较宽泛的运营指标会受到很多外部因素的影响;产品特性,定价、运营活动、甚至 App 开启时间都可以或多或少的影响用户留存。

 

在这里我们还要再提一句,随着你逐渐更加深入地接触A/B测试,这类比较宽泛的产品运营指标可以作为试验的次要目标来作为观察对象,我们在后续的内容也对对这块内容做进一步解读,但是你刚刚接触A/B测试时,还是先关注试验版本对其有直接影响指标吧。

 

2.试验场景
确认我们希望通过试验提升的业务指标后,我们还需要确认哪些因素的调整会对这些指标的变化产生影响,从而虚构出一个产品调整后的场景,然后基于这些最终搭建出一个可行的试验版本,听起来有点复杂但其实非常简单,这个场景可以是这样的,如果此试验目的是提升用户将产品加入购物车的转化,那么如果我将购物车的颜色改变一下,是否可以提升这个指标,从而带来下单率的提升?

 

或者是,加入我希望提高用户分享的转化,那么我直接把分享图标改动一下,是否能够直接影响这个指标?然而,这些场景的思路并不一定要靠你自己琢磨;我们在每次产品迭代时,应该有很多渠道能获取到构建这个场景的思路。

 

内部讨论:新功能上线前,对于用户体验,大家几乎很难不吵一抄,撕一撕;技术同学觉得产品介绍字体大一点能促进用户购买转化,运营小伙伴觉得产品列表布局中简洁能带来更好的点击,等等。这些其实不都是思路么……

 

用户心声:你肯定有各种能传递用户心声的渠道;通过定期从用户内测群,微博、或者社区类似渠道,可以直接获取用户对产品的第一手资料,假设你的一些用户通过社区调研问卷反馈你的产品按钮应该加上文字可以使他们更容易理解对应展示的内容,为何不把它直接创建成一个试验版本,来看是不是其他人也这么认为?

 

创新思维,头脑风暴:为了创造更好的产品,我们应该已经习惯了像乔布斯一样,每次做产品时都需要想到客户前面,去思考哪些改动能给他们带来更好的体验,这些思路是真正可行,我是不是可以直接利用A/B测试去验证一下?
好了,说了这么多,为了帮助大家理解,我们还是请小明出场,我们假设小明是一名电商 App 的产品产品经理,看看他这个阶段是如何确立试验目的和试验场景的:

 

小明作为一家电商 App 的产品经理,他的主要职责就是以客户需求导向产品优化。在定期分析这些运营数据时,他发现用户行为漏斗中,在购物车这个页面的转化很低,在仔细分析这个页面可能会导致用户跳出的因素后,小明决定先将购物车的颜色改变一下,换一个更可以吸引用户注意力的颜色,看看是不是可以带来一些提升。于是这个试验的目的和试验场景就确定了。

 

试验目的:增加购物车以及订单转化

试验场景:通过改变现有购物车的颜色来观察此元素是否可以影响购物车以及订单转化

 

是不是很简单?你也赶快来试一下吧!

 

本文作者:吆喝科技 CSM @ 傅礼阳

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

10212 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。