AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

新东方CATTI课程落地页优化

公司简介

新东方教育科技集团,由1993年11月16日成立的北京新东方学校发展壮大而来,目前集团以语言培训为核心,拥有短期培训系统、基础教育系统、文化传播系统、科技产业系统、咨询服务系统等多个发展平台,是一家集教育培训、教育产品研发、教育服务等于一体的大型综合性教育科技集团。2006年9月7日,新东方教育科技集团在美国纽约证券交易所成功上市,成为中国大陆首家海外上市的教育培训机构。

 

案例背景

作为教育行业的领导企业,新东方的网络营销部门在渠道做推广时,已经打破传统固有的业务模式,运用增长黑客的思维方式去观察不同版本落地页在某一渠道的效果。这一次,他们希望在CATTI课程的推广过程中,在同一渠道投放2个不同的落地页版本,将用户最关切的课程信息调整到更醒目的位置,希望这个调整能带来更好的转化。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

针对这次的CATTI课程推广页面,网络营销部门设计试验方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:推广页第三屏展示内容为“口译课程介绍”;

试验版本:将“各类课程介绍”提前至第三屏,原有“口译课程介绍”相应后移,其余页面元素保持不变。

同时,将各类课程的CTA转化设置为本次试验的核心优化指标。

 

测试目标

本次试验的主要目的是对比调整展示顺序后的CATTI推广页面,是否可以增加不同课程的报名转化,并以此结果作为优化迭代的依据。

 

A/B测试数据反馈

此次试验Web端进行,运行周期为2周(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,新东方的网络营销部门得到了科学可信的数据结果。

-试验版本胜出,本次日均样本量达到1000人次,其中试验版本在各类课程的报名转化数据上都有不同程度的提升,最高增长幅度达到16%(最低也有7%)

-综合评估后,为了达到更好的效果,营销部门决定针对此页面做更多的优化和用户研究,下次改版页面的第三屏将采用此次试验版本方案。

2917 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。