AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

跟谁学首页改版优化

公司简介

跟谁学创立于2014年6月,是一家专注于为用户提供高品质的O2O找好老师的学习服务平台。作为一款以移动App为主的产品,跟谁学致力于打造人人乐用的学习服务平台,通过跟踪每一位学员的个性化需求及偏好,利用海量数据挖掘技术进行精准匹配,帮助学员找到最合适的老师,帮助老师最大化地体现价值,让学习变得更加容易、平等和高效。 2015年3月30日,跟谁学宣布在创建仅6个月的时间内就完成了5000万美元A轮融资,估值达到2.5亿美元,刷新了中国创业公司A轮融资纪录。截止2015年10月底,跟谁学入驻老师35万人,入驻机构4万家,用户达到3000万,在让产品成为一种生活方式的同时,跟谁学也在全力打造更富活力、更加健康的教育生态圈。

 

案例背景

产品部门分析发现,有高达60%的用户在到达产品首页后,只是简单滑动和少量点击就离开了App,此部分用户的流失直接影响了App整体转化率。为了挖掘这部分用户的潜在价值,使到达移动端首页的用户更加快速、精准的找到自己所需要的课程,产品部门对App首页做了有针对性的改版,新版首页大大增加了SKU(商品页面展示量)。同时,他们希望在新版本正式发布之前,通过对 APP的数据分析 ,用具体、客观的数据来验证此次改版对移动端的整体数据表现是否有积极作用。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察用户对优化改版方案的数据反馈。同时,根据试验的数据发现用户反馈最好的版本,作为最终的新版本迭代方案。

在此次试验中,产品部门将首页的内容模块增强,细化类目入口,强化了优质内容的推荐:改变Banner下方类目显示逻辑,根据不同用户的使用身份,针对性展示分类内容;增加了名师答疑、聚会学、直播大厅、精彩专题、精选好课、聚惠学、学习头条七大内容模块,多维度增加商品页面展示量。

1

除此之外,产品部门决定从页面级考虑优化指标的统计和分析,关注的重点指标为:SKU曝光率(用户点击进入SKU页面的数量比率)、订单转化率(用户订单总数占总访问用户数的比率)。

 

测试目标

通过首页改版,产品部门希望学员能够在首页一览所有精品课程,并从中发现自己感兴趣的课程进行学习,从而减少他们在选择过程中增加不必要成本。最终,达到增加SKU的目的,实现页面整体转化率的提升。

 

A/B测试数据反馈

此次A/B测试在Android和iOS端同时进行,通过AppAdhoc A/B Testing产品的科学流量分割机制,由小到大逐步调整试验流量。初始流量设置为2%,用于检验试验版本在真实环境下有无缺陷设计以及配置问题。之后根据试验组在实际运行中采集的数据表现,动态调整流量,试验周期约20天。

-改版后的产品首页,用户点击量有较大提升(其中iOS端涨幅超过20%),用户访问页面数增长明显,访问10个以上页面的用户占比显著增加,SKU曝光率大幅提升。

-在试验过程中,发现移动端的“精彩专题”点击次数低于原始版本的数据表现,于是尽快调整了相关试验方案重新上线试验,更正后的新版数据表现优于原始版本,及时避免了可能带来的损失。

鉴于改版后的首页数据表现良好,产品部门决定通过AppAdhoc A/B Testing在线一键发布的功能,将新版首页推送至所有用户。

5635 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。