转化率专家使用的经验证的A/B测试框架

要让A/B测试达到统计显著,多得是提示,技巧和参考,这里是一个成熟的A/B测试框架,指导你获得一直,可重复的试验结果。
转化率优化专家是如何从他们的A/B测试项目里获得一致的性能的?
如果你正在找一个可用的成熟框架,来实现让网站有条不紊地增加收入的洞察,那么你会喜欢今天的信息图表。
下面的A/B测试框架是业界专家用来为客户增加数百万美元的收入:
ab-testing-framework-infographic
A/B测试框架的目的
做A/B测试很容易犯错。测试需要规则,而规则需要指导过程来实现一定程度上的严格。
此框架能确保你,营销人员—试验者,保持一些关键原则,当在浏览你的网站时能增加收入,潜在客户和订阅。
  • 不要根据坏数据做决策.
  • 创建有效假设.
  • 设计测试会make a diffference.
  • 设计测试会提供良好的数据.
  • 准确地解释测试数据。
  • 经常问,“为什么?
这是CRO专业人士使用的框架,用以实现最佳转化。
1.评估现有数据
访问新网站时,你需要先问下面两个问题。
  1. 目前有哪些数据?
  1. 这些数据的可靠性如何?
某些情况下,评估新网站时,你需要做很多工作。你的努力主要集中在通过现有数据为你的测试假设提出可行的见解。
在其他情况下,你可能没有太多工作,或现有的数据可能不准确,因此你需要花一些时间安装新工具,用于针对性的数据收集。
数据审核
数审核标识数据使得数据为数据科学家可用,它通常包括:
  1. 行为分析包
  1. 现有客户数据,例如销售情况
  1. 营销研究完成情况
  1. UX研究完成情况
  1. 产品评论
  1. 在线聊天记录
  1. 客户调查完成情况
所有这些数据源都有助于开发一个丰富的假设列表来进行测试。
分析审核
由于分析数据库是我们网站的最重要的中央信息交流中心,我们希望确保它准确地记录我们所需要的一切。
通常,我们忘记跟踪一些非常重要的事情。
  • 没有一些特殊代码的话,Popover窗口对于大多数分析包不可见。
  • 跳离网站的链接不会被跟踪。重要的是要知道你的流失在哪里。
  • 标签式内容可让访问者获得有关产品的详细信息,并且通常没有被跟踪。
  • 第三方网站(如购物车)可以中断会话跟踪,却没被特别注意。
  • 与离线内容的交互通常通过使用iframe来屏蔽。
这些问题必须在我们的审核中提出。
集成
重要的是,在我们的分析数据库中收集尽可能多的数据。我们永远不知道我们会有什么问题。
对于测试后的分析(见下文),我们希望确保我们的AB测试工具能向分析数据库写入信息,以便我们可以在那里重新创建测试结果。这使我们能够深入了解数据并了解测试对象行为的更多信息。这些数据通常在我们的测试工具中不可用。
数据相关
最后,我们希望确保我们收集的数据是准确的。例如,如果我们的网站是电子商务网站,我们希望确保我们的测试工具和分析数据库报告的收入是正确的。我们将对分析报告的收入与我们公司的实际销售额进行相关计算。
可以对销售线索的生成和电话销售进行相同类型的相关。
我们还可以使用多个数据源验证我们的数字实验室。分析中的数据是否与我们的测试工具报告的数据匹配?广告公司报告的广告点击次数是否与分析数据中的相同?
一旦我们对设置有信心,我们就可以开始收集更多的数据。
2.收集额外的定量和定性数据
一旦我们了解我们已经获取的数据,我们将需要设置和校准工具,以获取运行有效拆分测试所需的任何其他数据。对于我们的测试工具,我们可以选择运行A/A测试。
有两种重要的数据类型,让我们深入了解如何优化网站。
  1. 定量数据
  1. 定性数据
定量数据由大样本量生成。定量数据告诉我们大量的访问者和潜在访问者的行为。它是从分析数据库(如Google Analytics(分析)),试验和A/B测试生成的。
评估定量数据的主要目标是找出漏洞中的弱点。数据给我们进一步研究的客观细节。
我们需要收集和审核几种不同类型的定量数据:
  • 后端分析
  • 事务数据
  • 用户智能
定性数据由个人或小团队生成。它通过启发式分析,调查,焦点小组,电话或聊天记录和客户评论收集。
定性数据可以探究用户访问着陆页时的体验以及他们如何与您的网站进行互动的动机。
定性数据通常是自我报告的数据,因此可能不尽客观。人类善于根据所处的环境做出合理化行为。然而,定性数据是不能从定量行为数据辨别的测试假设的巨大来源。
定量数据告诉我们漏斗中发生了什么,定性数据可以告诉我们访问者为什么会采取某种方式的行为,让我们更好地了解我们应该测试什么。
我们可以使用许多工具来获取这类信息:
  • 访问记录
  • 客户服务记录
  • 销售和客户服务代表访谈
  • 用户测试,比如5秒测试
3.查看所有网站基准
数据收集和审核过程的目标是获取我们每个网站“基准”的关键情报。
  1. 网站性能
  1. 漏斗表现
  1. 技术错误
  1. 客户细分
  1. 渠道效果
网站性能是你的整体网站用户体验。它包括设备和浏览器的一般导航和性能。
漏斗表现专门针对将访问者转化为潜在客户的转化链条。其中包括着陆页,选择表单,自动回复,购物车检查等。
技术错误是指你的网站损坏或用户体验中其他部分有不好的情况。这些不需要优化,它们需要修复。
客户细分涉及不同的关键客户群体如何体验你的网站。了解长期用户,新访客,小买家和大买家与你的网站互动的差异很重要。
渠道效果处理各种流量获取渠道在你网站上的转化情况。要了解不同转化渠道的流量价格差异。
4.将数据转换为优化假设
一旦你对目标网站有了全面的,数据支持的理解,下一步是设计改进,你的假设将优于当前的格局。
在评估这些更改以进行潜在测试时,通过以下流程图运行这些更改:
pasted-image-0-37
你将快速构建潜在改变列表来进行测试,然后需要根据整体测试策略对其进行优先级排序。
5.开发测试策略
A/B测试是一个耗时过程,会消耗有限的资源。你不能测试一切,所以你应该关注哪里?
这将取决于你的测试策略。
最终,你需要为正在使用的特定网站和网站/业务的独特目标量身定制战略,但这里有几个选项可供选择。
FLOW vs. COMPLETIONS
你必须问的第一个问题是从哪里开始。这里有两个广泛的策略:
  1. 增加转换点(购物车,注册表等)的访问流量
  1. 提高完成率,即通过购买或注册完成转化过程的访问者人数。
如果你发现有人离开了漏斗顶部,你可能需要进行优化,以便让更多访问者流入您的购物车或注册页面。这是一个 FLOW 策略。
对于分类电商网站,流量测试可能发生在类目或产品页面上。在购物车和结帐过程中的测试将由于更高的流量而更快地移动。
蹦床策略
pasted-image-0-34
当跳出率很高时,使用蹦床方法,特别是对新访客。跳出率是访问网站并在几秒钟后离开的访问者的数量。跳出的访客通常只看到一个页面。
有了这项策略,你就能针对特定频道的到达网页进行测试。
扫雷策略
pasted-image-0-38
这个策略适应于网站转化环节。我们看到这种情况,当访问长度过低或人们把产品放在购物车的比率过高。
例如,我们可能会尝试为在线产品的定价页面吸引更多访问者,看看是否有更多访问者完成购买。
大石头策略
pasted-image-0-36
此策略用于具有长期优化历史并且大量证据表明缺少重要组件的网站。向网站添加基本组件,以便向访问者提供他们正在寻找的内容。
“大石头”的例子包括评分和评论模块,多面搜索功能,推荐引擎和现场演示。
核战略
pasted-image-0-35
这个策略包括完整的网站重新设计,如果业务改变其后端平台,或完全重新为整个公司或公司的核心产品重新设计品牌,那么这个策略可能是可行的。
核战略与它听起来一样具有破坏性,应该是最后的手段。
有关其他策略和更深入地了解此主题,请查看 Brian Massey的 应该考虑的7种转换优化策略
6.设计你的A/B测试
一旦我们的假设被创建,我们的目标明确定义,是时候实际运行A/B测试。
拥有正确的工具将使这个过程无限简单。如果你不太确定什么是你业务的“正确的工具”是什么,请查看这篇文章:引导转化率优化最引人注目的A/B测试工具
但即使使用正确的工具,设计A/B测试需要在用户端进行大量的工作。如果你想从结果中获得任何有意义的洞察,测试需要设计正确。
大多数人都熟悉统计显著。不幸的是,很少有人真正了解在设置A/B测试所需的级别上的统计显着。如果你怀疑可能是你,请查看A/B测试统计学:非数学家直观指南
但是,设计一个测试远远不只是统计显着性。设计良好的A/B测试将包括以下元素:
  • 持续时间 – 测试应运行多长时间?
  • 目标 – 我们试图增加什么?
  • 流量百分比 – 我们的流量中有多少百分比会看到测试?
  • 定位 – 谁将进入测试?
  • 对照设计 – 测试对照的创意。
  • 测试代码 – 在每个对照的页面上改变一些东西。
  • 批准 – 内部批准的测试和方法。
测试应该设置为运行预定长度的时间,包括访客行为的整个周期。一个月的运行时间是一个好的经验法则。
测试目标,定位,显示百分比都应该考虑在内。
一旦测试设计正确,最后一步就是实际运行它。
7.运行并监控你的A/B测试
运行A/B测试不像在A/B测试软件上单击“运行”那么简单。当测试开始向新访客显示页面变体时,需要执行两个关键操作。
  1. 监视初始数据以确保一切正常运行
  1. 在整个测试期间运行质量保证
测试开始后,在整个转化漏斗中监控转化数据非常重要,查看异常情况,并确保没有任何不正确的设置。你正在对实时流量运行测试,任何不能快速捕获的错误都可能导致测试网站的大量收入损失。
当测试运行时,我们想监视一些事情。
有很多事情我们需要关注:
  • 统计显著
  • 整个测试的进展
  • 测试结果的增长趋势
  • 新线索的质量
  • 转换率 vs. 收益
统计显著是我们首先要关注的。统计不明显的提升不是提升。没什么。
但即使我们的结果是显著的,我们仍然要看数据在整个测试过程的进展。试验组的转化率是否始终高于对照组?或者它在控制组的数据上下振荡?
如果数据在测试期结束时仍然振荡,我们可能需要继续测试,即使我们的软件告诉我们结果在统计上是显着的。
同样重要的是要了解,测试中遇到的任何提升几乎总是夸大了的。平均而言,如果改进在测试中产生30%的提升,则实际提高接近10%。
最后,在整个测试期间运行质量保证有助于确保A/B测试在各种设备和浏览器上正常显示。尝试再次打破网站,就像你在初始网站审核期间做的,并确保一切正常。
一旦测试已经运行通过预定的结束点,是时候审查测试结果了。
8.评估测试结果
记住,A/B测试只是一个数据收集活动。既然我们已经收集了一些数据,就把这些信息为我所用。
不用说,第一个问题肯定是“我们的变化赢了吗?”我们都喜欢赢。
当我们检查A/B测试的结果时,有两种可能的结果。
  1. 测试结果不确定。没有一个试验组击败控制组。不能证明任何假设。
  1. 一种或多种对照组以统计学显着的方式击败控制组。
在没有结果的测试的情况下,我们想要查看流量细分。特定的用户部分如何与控件和变体进行互动?一些最有利可图的洞察可能来自失败的测试。
比较和对比的细分包括:
  1. 回访者 vs. 新访客
  1. Chrome 浏览器 vs. Safari 浏览器 vs. Internet Explorer vs. …
  1. 自然流量 vs. 付费流量
  1. 邮件流量 vs. 社交媒体流量
  1. 优质产品的买家 vs. 非高级买家
  1. 首页访客 vs. 深度参与访客
这些细分对于每个业务都是不同的,但提供了产生新假设的见解,甚至提供个性化体验的方法。
如果转换率有统计学意义上的提高,请务必分析新转化的质量。增加转化次数很容易,但这些新转化的购买跟控制组的购买次数一样多?
最终,我们想回答这个问题:“为什么?”为什么一个变量赢了,它告诉我们关于我们的访客什么?
这是一个协作过程和投机性质。问为什么有两个主要影响:
  1. 它开发了用于测试的新假设
  1. 它使我们基于新的信息重新安排假设列表
我们的目标是在我们测试时学习,并问“为什么?”,这是巩固我们学习的最好方法。
9.实施结果:收获
这是我们在转化中获得成功增长的一步,我们希望尽快将这些变化推广到网站上。其策略通常如下:
  1. 记录所做的更改并将其提供给 IT 部门。
  1. IT 将安排未来迭代或发布的改进。
  1. 使用A/B测试工具将100%的流量带往获胜的变量。我们称之为“routing test”。
  1. 当 IT 更改发布到站点时,请关闭路由测试。
我们创建一个新的路由测试是很平常的,这样我们就可以对A/B测试的结果进行归档,以便未来的参考。
作为另一个考虑,请注意你的网站上运行的路由测试过多。转换科学报告说,一些小型企业依靠路由测试来修改他们的测试,并且运行了几十个路由测试。这可能导致无数的问题。
在一种情况下,如果客户端对站点头部进行了更改,并忘记包括启用A/B测试工具的代码。所有路由测试都会立即关闭,因为测试工具未集成。
在将代码添加到网站之前,转化率直线下降。在某种意义上,这是对测试过程的验证。转换科学称之为“开关灯”测试。
结论
这是CRO专业人士使用的框架,以使用A/B测试为其客户始终生成转化提升。
5901 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。