4000个A/B测试教会你如何高级试验

smx-advanced-sign-1920-800x450

 

Ayat Shukairy,Invesp 的联合创始人兼客户解决方案副总裁,在本次演讲中分享其从11年A/B测试经验中获得的9个经验。演讲的目的是揭示成功的A/B测试计划中的细微差别,历经4000次成功的转化率优化(CRO)项目执行,Shukairy 在此拥有相当的知识积累。

 

ayatshukairy

 

下面是 Shukairy 的9个关键经验,希望能对各位有所帮助:
我们总是在关注错误的事情
Shukairy 建议我们停止关注短期的效果。我们需要在执行战略时保持一个长期试验计划。
此外,Shukairy 提醒我们对于效果的大幅度提升要持怀疑态度。如果你看到转化率有很大提升,你需要检查并确保试验运行足够长的时间以产生有意义的结果,或者该试验并非出现异常。
创建吸引人的网站描述
A/B测试有三种类型:元素级别、页面级别(布局)和访客流程级别。Shukairy 表示页面级别的试验对于转化率能带来7-9%的提升,访客流程级别的试验可以带来更大的改进,成功的执行能够提升16-18%。
然而即使最优秀的产品经理在没有吸引人网站描述下也会有瓶颈。因此优化你的描述并让你的访客为之感到惊喜。
不要认为你活在真空中
你的网站体验只是客户众多触点中的一个,因此在整个品牌背景下来考虑网站十分重要。从潜在客户的角度来考虑你的品牌——问问自己,受众是如何看待我们的品牌?了解每个触点及其对消费者的影响,因为这都会变成转化率的影响因素。
不要认为你了解客户的一切
通过量化的调研倾听客户的反馈。在进行网站体验的 A/B测试之前,你应该进行投票或者问卷调研来发现客户可能的动机。深思熟虑的市场调研对开发一个好的假设来说至关重要。
获取客户每个人的支持
确保获得客户每个利益相关者对转化率优化项目的支持。你需要各部门的人加入并支持才能取得成功。从不同部门获得的信息、讨论和参与越多,你的转化率优化项目就会越成功。
拥抱失败
Shukairy 表明只有13%的A/B测试结果有显著提升,那就意味着剩下的87%是没有的。你需要让这个事实来改变对于转化率优化的想法。大多数情况下,你的试验将无法带来有意义的增长。这意味着你必须通过失败的A/B测试来推动和创新,从而产生新的研究机会并产生更多的假设
匹配网站目标和整体业务KPI
只有从结果中获取可操作的洞察,试验工具才是有用的。所以在衡量A/B测试的结果时,问问自己“这到底带来多少收入的增加?”如果你不能回答这个问题的话,那你就需要把这条加进去,来确保所追踪的指标时符合业务目标的。
用数据来发现阻碍增长的问题所在,并确保问题的解决能够直接影响最重要的KPI。
理解A/B测试统计学意义
绝大多数试验人员都没有充分利用的关键统计学指标:统计功效。统计功效是指版本差异(效果)为某个指定值时,通过显著性检验能正确地把差异检验出来的概率。说白就是假设两个版本的确存在差异,我们能够正确拒绝原假设,获得统计显著性结果(95%置信区间中数据)的概率。高统计功效能够有效降低出现II型错误的可能性(试验没有结果但是实际有效)。
高统计功效及搞置信区间的试验可以降低试验假阳性的可能,因此在确定试验结果之前需要始终收集重要的样本量。
小心A/B测试结果中的脏数据
将试验运行更长时间,并在试验运行过程中不进行更改。在试验期间的任何变化都有可能污染你的结果。这包括减少不良影响的变化,改变分流的百分比等等。
如果你必须要改变试验环境的话,则需要重新启动试验从干净的样本开始。
最后 Shukairyji 建议,“从新思考转化率优化,从每次A/B测试开始”。
6186 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。