AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

怎样才能做好AB测试?

大家对AB测试一定不陌生,当我们发现数据异常但又不确定哪个解决方案好,我们就会想起它。那么该怎么去进行AB测试呢?如何才能保证测试的数据有效性?如何在最短的时间内测试出来结果,以便后期能够更好地进行调整?

简单来说就是小步快跑,持续迭代。例如下面的案例,相较于传统金融,互联网金融的产品形态更加新颖,迭代更迅速,非常适合利用AB测试帮助其系统性的推进产品优化。

1、确定目标

某银行在app内推广某款信用卡时就遇到了卡片申请率低的问题,在原始版本中,用户进入网申页面后,会首先看到移动联名卡,再向左右翻页,分别看到南航卡和普卡,银行判断是卡片顺序导致的申请率低,于是借助热云数据AppAdhoc A/B Testing平台对信用卡申请页面的顺序做了一次AB测试,在试验版本中,将卡板顺序调整至南航卡-普卡-移动联名卡,即用户进入页面后首先展示普卡信息,其余页面元素保持不变,试验方案如下图:本次试验采用编程模式,将两个需要调换顺序的页面作为变量,页面的“确认申请”按钮为试验关注的核心指标:集成SDK后,在热云数据AppAdhoc A/B Testing平台填写变量及指标等信息,配合页面中进行相应的埋点,调整流量即可完成试验配置。

guangzhoubank3

2、确定样本量

样本量不能过多也不能过少。如果样本量过少,偶然的数据波动就将影响到测试结果;若样本数量较多,测试成本相应变高,且在实际工作中,同层流量是有限的,往往多项测试同时进行,大量流量被分到某一测试就意味着其他测试流量减少,影响工作进度。

要确定准确的样本数量,可以使用热云数据A/B Testing样本量计算器,快速平衡流量与运行时长之间的关系。

例如现在的转化率是5%,我们希望转化率达到10%,那么最小重要变化就是5%,最终得出至少需要30244个样本数量,并且分流均匀才能做这个试验。

12345

3、确定周期

在确定单个版本所需要的样本量后,还应根据样本量确定试验周期。热云数据A/B Testing内置了【日活】【周活】【月活】三个流量统计方式,系统会根据总的流量分配比例来计算具体的运行天数。我们将原始版本与试验版本各分配50%的流量,得出周期为12天。

123456

对于日活百万的产品,系统会计算出一个非常小的时间段,为保证测试准确,试验周期要求能够刚好覆盖产品的一般使用周期。也就是说,能够覆盖产品的高频用户和低频用户,保证不会因为用户群体之间的差距而产生一定的数据的差异。

4、结论分析

1234567

运行一段时间后得出结果,观察试验数据可以看出,试验版本与原始版本相比,在95%的置信度下,试验版本的转化率至少会有8%的提升。我们需要将AB试验结果记录在试验报表中,方便后期更好地产生更好的试验想法,为新的试验想法提供可参考的依据。

一般要记录以下几个关键点:(例)

试验目标:提高转化率。

试验类型:突出关键内容,试验版本中将普卡移到了中间位,用户进到此页面会直接浏览到普卡的卡板。

试验过程:使用样本量30244个,用时12天。

试验结果:在95%的置信度下,试验版本的普卡转化率至少会有8%的提升。

5、持续迭代

在该次试验后,该银行采用“田忌赛马”的方式,对三种不同的信用卡分别排列组合,即123 132 213 231 ……又多创建了一些试验,让试验结果更科学。

除此之外,该银行还进行了将“立即申请”改为“立即了解”、增大卡片面积、改变字体大小等多项测试,并总结出了一套方法论,形成了独到的落地页制作方案,大幅提高了转化率。

不积跬步,无以至千里。每一个页面的优化都伴随着大量的试验,在这个过程中,需要试验者永远保持大胆假设,小心求证的试验精神,用试验的思维去迭代,才能实现优化投放效果的显著优化。

试验驱动增长,尽在AppAdhoc!>>快速试用<<

67 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。