AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

AppAdhoc官网准入信息试验

“作为专注于A/B测试云服务的企业,吆喝科技始终是自己产品的第一个用户。在技术/产品/运营/销售等各个业务环节,我们都会实践A/B测试驱动企业决策优化。

这次我们分享一个非常典型的实验场景:什么样的用户注册页面和流程能最大化有效客户线索?

我们的产品经理和运营经理通过AppAdhoc平台把自己的经验,用户的反馈,书本的理论变成可以落地实施的试验,低风险高效率的逐步推给用户,最终选定最好的方案。

希望我们的实践能给更多的决策者以启发。”

——吆喝科技创始人及CEO,王晔

 

试验背景

从用户反馈,以及对更多用户线索的需求,我们发现在现有基础上增加用户申请注册数量,获得更多有效商务线索,既必要,也必须。

在A/B测试之前,官网的申请流程是信息准入制的,用户需要先填写5项信息,提交审核发码,这个流程。审核是需要人工介入的,而且必不可少,那么能不能通过降低用户申请成本,来带来更高转化和销售线索呢?测试了才知道。

 

试验方案

网站优化分析

版本设置:加上原始版本,一共4个版本,分别是“5项全能”(需要申请者填写姓名、产品/公司名称、手机、邮箱、月活量级)、“邮箱版本”、“电话版本”和“邮箱+电话版本”。这几个版本都需要运营同学审核后,才会发码。

优化指标:设定提交申请按钮的点击次数、成功提交申请的次数为主要优化指标,同时将各版本最终带来的有效线索转化情况作为参考数据。

 

试验过程分析

第一阶段试验

这一阶段一共在线3个版本(包括原始版本、邮箱版本、电话版本),每个版本分配给试验流量的33%。运行1周后,发现邮件版本的回复率相对较低。考虑到申请信息的跟进可能性,产品运营部门决定将邮件版本的流量调低至20%,为了更好地对比版本数据,所以把试验中的其他版本的试验流量也统一调降至20%。

试验运行3周后,各个版本的差异逐渐显著。从试验均值和转化人数的比较中,能够观察出每个版本的不同特征,并可以针对性的做出优化改进。

两个试验版本点击提交的用户数远高于原始版本,看来在降低申请成本后,用户提交申请的意愿是有明显提升的。

但邮件和电话版本的数据,也说明了各自的特征和问题:电话版本的提交用户数最多,但经运营核实后,无效申请数量也排在前列,同时在与有效申请用户沟通的过程中,邮箱核实的过程比较困难。

邮箱版本筛除了大量个人用户,一旦用户回复则表明试用意愿很强,而问题在于通过邮件交流等待用户回复的周期较长(甚至有时收不到回复)。

考虑到本次试验的目的,是在增加用户提交申请数量的前提下,找到更多有效的、可跟进的商务线索,因此产品和运营部门在讨论之后,决定对试验做出如下修改:为保证数据对比更清晰,决定结束现有试验进程,通过克隆功能创建新的试验,同时去掉电话版本,替换成试验版本三,即电话+工作邮箱版本(用户须填写有效手机号和工作邮箱),原始版本、邮件版本保持不变。

 

第二阶段试验

这一阶段运行了12天。我们发现,邮件版本的提交按钮点击率明显占优,提交率比原始版本高出90%,但经运营审核后的有效转化率却最低。说明尽管准入信息缩减到一个后,用户的提交意愿明显上升,但由于增加了对公共邮箱的筛查,所以屏蔽了大量以个人名义的尝试了解的非目标用户,因此真正能够转化成有效线索的数量相对其他版本来说没有明显差异。

此外,考虑到邮件版本的跟进可控性较差,因此,产品和运营部门做了本次试验的第二个调整:将邮件版本停止(试验流量调为0%),原始版本和电话+邮件版本流量各分配50%的试验流量。我们希望通过放大试验流量,收取更多用户数据,以便做出最终的优化决策。

 

第三阶段试验

随着版本流量调整并即时生效,试验各版本的单日流量明显增多,在10天之后,产品运营部门终于得到了本次试验的最终结果。

5

根据我们A/B测试平台的数据统计,产品运营部门将相关测试数据和最终有效转化数据汇总统计如下:

6

“邮箱+电话”版本的漏斗有效率提升了143%,有效销售线索的比例也提高了75%。

 

试验分析解读

1)本次试验只改变用户进入申请浮窗后的信息内容,因此申请流程的最底端转化(官网的“免费试用”点击)与试验结果无关;

2)在剔除内部测试数据后,电话+邮箱版本的提交转化率略高于原始版本;

3)由于对工作邮箱的筛选条件,成功提交率方面原始版本表现较好,但最终经过运营联系后的有效线索转化,依旧是电话+邮箱版本胜出;

4)进一步筛选原始版本中提交工作邮箱的数据,发现整体表现介于原始版本和电话+邮箱版本之间;

5)另外,从运营的人工成本来看,电话+邮箱版本效率的更高。

 

综上所述,电话+邮箱版本的综合表现最佳,我们在 AppAdhoc 后台将试验版本全流量发布。试验版本发布后,官网申请入口统一变成电话+工作邮箱的准入内容,产品和运营部门可通过工作邮箱用于过滤无效用户,通过预留电话进行人工审核,更加便捷的获取有效商务线索。

 

试验经验总结

-试验流量会影响试验周期,若分配流量过小(一般来说建议每个版本单日至少分配1000 UV),会导致试验周期整体拉长,同时数据结果很难得到统计学显著性;

-相关部门要实时关注试验数据,及时调整各版本流量,保证试验进度处于积极态势;

-合理应用 AppAdhoc A/B Testing 的各项功能,在试验运行正常的基础上,保证不同版本增减后的环境一致性;

-此外,在解读试验数据时,应结合产品自身数据统计工具,综合考量试验中各版本的优化效果。

3754 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。