Gartner:A/B测试客户体验的秘密

UE

为改善在线客户体验而向营销商开放的选择矩阵真的令人困惑 – 设备,内容,导航,位置甚至颜色变化都可能影响任务完成和访问者行为。通常,来自于A/B测试和多变量测试的期望是不真实的,灵感来自虚假的轶事。

 

Gartner 市场营销研究总监 Martin Kihn 和研究总监 Magnus Revang 表示,使用A/B测试的营销人员通常使用不一致的流程,导致了最小的改进。通过使用三种方法来开发最佳测试程序来提高您的成功率。

 

使用A/B测试还是多变量测试?

首先,请注意,A/B测试和多变量测试是不一样的,尽管它们经常被同义使用。 A/B测试只是使用两组不同的用户来比较 A 和 B 版本的客户体验。例如,你可以给50%的网站访问者显示为红色的“立即购买”按钮,给另外50%的用户显示绿色的“立即购买”按钮。通过比较两者之间期望的用户动作可以得到获胜者。这是测试的“冠军和挑战者”模型。

 

多变量测试涉及使用矩阵代数同时测试多个元素的多个版本以确定获胜组合。两个模型都使用统计分析来确定测试的有效性。

 

许多测试工具允许营销人员在前端更改内容和设计,而不需要更改代码。营销人员可以测试一切,从简单的视觉效果或行动号召按钮的复制,如“检查可用性”与“立即购买”,到涉及到的更多测试,如网站上导航元素的位置。

 

无论使用哪种测试,在设置测试程序时,请记住这三个重要的方法:

 

1.使用科学方法

人类学家和天体物理学家使用严格的测试协议,以确保他们对试图证明或反驳的假设有清楚的视线。他们有太多的变量,太少的时间和金钱,不能集中测试。但数字测试不需要不同。
从一个明确的问题或目标开始,并制定一个假设。
运行测试,直至达到统计显著的用户数被暴露。
同时测试不同版本以控制外部变量。
因此,“我们想要更多的邮箱注册”的简单目标,可以形成如“人们没有看到注册表单”或“如果表单更突出,那么更多的人会注册”的假设。现在你已经专注在测试什么(注册表单能见度的变化)并有了对成功清晰的定义(更多的注册)。

 

2.保持测试可管理

对于内容和视觉测试,通过限制所测试的变量数量并最大化所涉及的受众群体的大小,从而为你带来好处。有很多因素影响达到统计显著所需要的时间,包括访客数量,有多少人在做你想要他们做的操作,测试的变量数量和测试所需的统计置信度。为了避免长时间的测试周期,保持测试小且易于管理。

 

3.创建一个流程来实现胜者

一旦你从测试中找到了新的冠军,与开发人员和利益相关者合作,快速在生产中实施更改。毕竟,如果你发现一个更好的设计,访客转化多了5%,难道你不想立即实施吗?它还告知未来的测试,并防止性能问题将影响未来的测试。

 

以规范的方式运行频繁,可管理的A/B测试,特别旨在证明或反驳假设并快速推出获奖者,将帮助营销人员知道他们正在从他们的数字资产中获得最大的收益。

 

本文由吆喝科技译自http://www.gartner.com/smarterwithgartner/the-secret-to-ab-testing-for-customer-experience/

7499 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。