Visa,Wiley,TripAdvisor 和 Move集团大胆的测试策略

消极的测试结果也不错,事实上,它们是我们运行测试的原因。”——Issac Gerber Wiley 高级分析优化经理

这一点似乎有悖常理,尤其是我们通常把积极的测试结果与 ROI ,收入和转化率增加联系在一起,但消极的测试结果可以有同样的影响力。事实上, Isaac 最近发现如何把测试方案的消极结果用来大量提高销量的一种策略并说服高官们采用。

 

如果你和 Isaac 一样喜欢大胆的策略,不畏惧尝试新东西,你就对了。

 

最近,我们请了一些全球顶尖公司的专家来分享推动A/B测试试验方案成功的一些意想不到的策略。下面是来自 Visa , Wiley , TripAdvisor 和 Move 集团的几条建议。

 

1.“不要强调太多的第一次实验,相反,只用它来验证。”——Vinod Kartha , Visa 数码产品总监

如果你的第一个测试不是你实际上的第一次测试呢?

 

Vinod Kartha 在 Visa 是一位热衷于推动变革的领导者,重点关注优化。 Vinod 的建议是从他一手建立公司的优化方案中得来的:第一次测试就只是验证;第二次测试才是真正的第一次试验。这条建议在很多“第一次”下生效:在一系列的第一次测试中,关键页面或元素是第一个被测试的对象,甚至是你的第一个全面测试。当潜入未知领域,建立灵活的可以更改的最初计划是非常有益的。

 

这种灵活性帮助 Vinod 团队回答了建立健壮实验前期的一些重要问题,然后在必要时候迅速改变。这些问题包括:

我们的假设是否错误或不完整?

我们的测试面向正确的受众了吗?

测试过程中是否有团队支持问题?

 

通过这些答案的武装,团队能够快速调整并开启第二次强力测试。通常,团队想等到“理想条件”再运行第一次实验, Vinod 说这些条件可能包括更高的网页流量,更多的数据支持,或更多的外部团队投入。实际上,理想条件从来不会发生,比等待更重要的是上手实践。过程可能会有点乱,并且绝对不会完美。但是你从中学到的东西能帮你更好地验证以得到最优的连续试验结果。

2.“以一个有创造力的方式来庆祝优化成果。”—— Suma Warrier, Move 集团优化试验经理


Suma 的优化邮件截图

你如何才能以充沛的激情来带动团队里的重要相关者和全公司的同行,并且还提升了你的团队所做工作的透明度? Suma Warrier 在公司一季度数据的基础上,发了一封“增长与优化”的邮件给 Move 的整个团队。分享了她的小团队在做测试时的学习、收获、成果和其他学到的东西。收到邮件的同事可以点击邮件里的链接来了解具体的测试环节。这封邮件里还给出了清晰可见的年度测试目标并能跟踪目标每月达成的进度。

 

Suma 说这是把团队工作传达给整个组织的高效方式,测试流程的投入令她的同事感到兴奋。

3.“设定一致性目标,并坚持。”—— Brion Hickey,TripAdvisor 前任电商主任

你如何才能通过经常性的简单测试来发现更多的优化途径? Brion 在大公司和小公司都有过管理优化方案的经验,最近的经验是在 TripAadvisor 。他对如何在组织中建立强壮的优化肌肉的建议是设定目标——不只关于 ROI ,并且要有一致性。

 

首先, Brion 建议设定一个能让优化方案的成熟度水平有意义的目标,比如,每周测试一次关键页面。然后,最重要的一步是你要为达成这个目标负责,这听起来很简单,但 Brion 说定期测试是发现更多优化途径最万无一失(和最令人惊讶)的方式之一。

 

与其在页面上运行少量测试并称之为“优化”,不如不断对现状提出问题,这将有助于发现那些在你的测试路线图上甚至都没被摆在重要位置但可供改进的巨大机会。另外, Brion 认为增加清晰明确的一致性目标能帮你强化把优化作为团队日常工作流程中的一部分的观念。

4.“快速应变能把失败的测试变成一场胜利。”—— Isaac Gerber , Wiley 高级分析优化经理

如何能把失败或不确定的实验结果得出的东西作为支点,来达成胜利呢?

 

Isaac 管理着 Wiley 产品的测试工作,包括 Wiley + ,以及教师和学生的在线平台。Wiley + 的主要销售旺季在夏末学生开学之前。因为窗口期很短, Isaac 有一个非常有限的时间表来最大化优化销量。

 

紧凑的窗口期让他精于把消极的测试结果变成潜在胜利的技巧。比如,去年 Isaac 遭遇了一次大型的实验完全失败——导致采购量在 Wiley 电子商务周期的关键时刻显著下降。跟以往应对失败试验的经历不同,这次 Isaac 根据测试数据做了新的假设,新进行的测试比原始版本和第一次改变带来了更好的结果。

 

Isaac 说这种面对失败随机应变的做法对于团队成功捕捉大多数销售旺季以及实现收入最大化是非常重要的。不仅如此, Isaac 认为分享“失败试验的故事”能帮他更好的给内部利益相关者和同事说明快速、持续性优化周期的价值。事实上, Isaac 发现分享失败的结果是向人们展示测试价值的更简单方式,并且他现在比以往更多的建议高层采用这种策略。

 

你打算在今年采用什么样的大胆优化策略?

本文由吆喝科技编译自:Bold Testing Strategies from Visa, Wiley, TripAdvisor, and Move, Inc.,转载请联系吆喝科技(微信 ID : appadhoc)

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

5709 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。