AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

嗨住在线客服优化

公司简介

嗨住是集租前、租中以及租后为一体的专业链条式租房服务平台,致力于为年轻用户解决“租房子,找室友,付房租”的问题。通过企业内部强大的团队资源,产品房源信息覆盖所有职业房东,同时,全网数据实时抓取覆盖所有个人房源,保证房源的多样性。对于每套房源,嗨住都会进行实地勘察比对,支持实时语音搜索监控、一键举报,保证嗨住租房平台房源可租信息实时可靠。用户可在产品平台或应用内租赁和支付,无需支付任何中介费用。此外,嗨住还为用户提供了“直呼房东”、“免费预约”和“租后服务”等服务类型,让用户更省时、更省钱、更省心、更简单的享受租房带来的乐趣。

 

案例背景

根据长期的数据观察和分析,嗨住的公司内部对于房源详情页中“在线客服”的插件使用情况产生了疑虑。同时,出于人工成本的考量,产品部门决定通过A/B测试的方法,来检验在线客服是否能够刺激用户进一步了解房屋详情,最终促进用户点击“联系房东”的转化率。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

产品部门设计两种结果展示方案如下:

%e5%9c%a8%e7%ba%bf%e5%ae%a2%e6%9c%8d%e4%bc%98%e5%8c%96-%e5%af%b9%e6%af%94

原始版本: 保留“在线客服”按钮,入口在房源详情页底部,位于“联系房东”按钮左侧;

试验版本: 去掉“在线客服”入口,将“联系房东”按钮重新布局平铺于底部,页面内其他元素保持不变。

同时,将用户拨打房东电话的按钮点击数设置为此次试验的主要优化指标。

 

测试目标

本次试验的主要目标是,通过分析两个版本的试验数据,观察“在线客服”按钮是否会对用户点击“联系房东”产生影响,并根据数据结果对在线客服入口进行决策。

 

A/B测试数据反馈

此次试验在嗨住的iOS端进行,累计运行了近3周的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学可信的数据结果。

-数据结果显示,试验版本的均值为-4%,置信区间显示[-18%,+10%],而转化人数统计(即有多少独立用户点击按钮),试验版本+1.6%,置信区间显示[-6.7%,+10%],均为非统计显著;

-试验结果说明,两个版本没有显著差别,也就是说“在线客服”入口对用户点击“联系房东”按钮,没有直接刺激作用;

-最终出于成本考量,嗨住产品部门决定去掉房源详情页的“在线客服”入口,只保留“我的”版块中的电话客服。

3466 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。