AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
百场汇隶属于北京易客信息技术有限公司,成立于2015年1月,是Airbnb模式下的商业场地短租平台,聚焦在会议、活动、聚会类型的场地。通过互联网营销的方式,百场汇收集了很多有特色的社会场所,比如会所、咖啡馆、轰趴、共享办公场地、四合院,茶楼等,一方面更好的满足了产品本身的商业经济模式,另一方面也适应了飞速增长的用户长尾需求。目前,百场汇已覆盖多个城市超过5000个场地,秉承“还原场地本质,并让其有更多意义”的想法,用户可以在无任何附加费用的前提下,有效寻找各种各样的特色场地。
案例背景
与电商平台类似,百场汇短租的主要流程包括“搜索-详情页-询价”等环节转化。也就是说,当用户进入到场地详情页,意味着用户已经对场地产生了一定的租用兴趣。那么如何让这部分用户从兴趣转化为进一步的询价(提交信息),是百场汇的产品运营部门非常重视的环节。他们希望通过A/B测试,在尽量少动用开发资源的前提下,找到最佳优化方案。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。
基于现有详情页样式,产品部门设计方案如下:
原始版本:“场地评论”位于“地理位置”版块上方;
试验版本:上移“地理位置”至“场地评论”版块上方,其余页面元素保持不变。
将页面右侧“获取场地报价”按钮的点击数据作为本次试验的主要优化指标,同时参考用户在详情页的停留时长。
测试目标
本次试验的主要目标是,对比调整版块顺序前后的详情页样式,找到能带来更多获取报价转化的展示方案,进一步优化页面核心数据。
A/B测试数据反馈
此次试验在百场汇的官网页面上进行,由于详情页流量较小,本次试验周期延长至30天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学可信的数据结果。
-试验版本(地图版块在上方)获胜,新版本获取报价的按钮点击提升了8%,同时用户访问页面的时长也增加了4%;
-根据试验数据分析,相比于了解评论,“地理位置”的优先级更高,用户更关注场地自身的位置环境。因此,产品部门决定将试验版本全量发送给用户。