AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

嗨住首页房源推荐算法优化

公司简介

嗨住是集租前、租中以及租后为一体的专业链条式租房服务平台,致力于为年轻用户解决“租房子,找室友,付房租”的问题。通过企业内部强大的团队资源,产品房源信息覆盖所有职业房东,同时,全网数据实时抓取覆盖所有个人房源,保证房源的多样性。对于每套房源,嗨住都会进行实地勘察比对,支持实时语音搜索监控、一键举报,保证嗨住租房平台房源可租信息实时可靠。用户可在产品平台或应用内租赁和支付,无需支付任何中介费用。此外,嗨住还为用户提供了“直呼房东”、“免费预约”和“租后服务”等服务类型,让用户更省时、更省钱、更省心、更简单的享受租房带来的乐趣。

 

案例背景

嗨住的产品部门在首次试验(优化搜索房源的展示方式)获得显著优化结果后,决定再次尝试优化应用内其他元素。目前,应用内首页推荐房源的算法是根据距离远近来推荐的,产品部门希望验证这个算法是否是最适合的方式,如果不是,则希望能找到更能激发用户点击浏览的推荐算法。因此,产品部门决定再次通过A/B测试的方式,找到首页推荐房源的最佳算法。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

产品部门设计两种推荐算法如下:

%e9%a6%96%e9%a1%b5%e6%8e%a8%e8%8d%90%e6%88%bf%e6%ba%90%e6%8e%92%e5%ba%8f%e5%af%b9%e6%af%94

原始版本:根据用户当前位置,按房源距离远近排列推荐;

试验版本:用户将看到依据新建立算法展示的房源(并非单纯按远近排序),页面其余元素保持不变。

同时,将用户点击查看房源详情的总点击数设置为此次试验的主要优化指标。

 

测试目标

本次试验的主要目标是,通过对比分析两种不同的房源推荐算法,找到更有利于用户进一步了解房源详情的算法,从而优化产品。

 

A/B测试数据反馈

此次试验在嗨住的iOS端进行,累计运行了近2周的时间(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学可信的数据结果。

-原始版本(按距离推荐)获胜,更多在原始版本中的用户点击进入房源详情,相比试验版本有60%的巨大正向差距;

-试验结果表明,房源的距离远近还是用户判断的第一要素,故产品部门将保留原有按距离推荐的房源算法。

 

4346 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。