AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
作为某大型互联网医疗服务平台,该企业为大众提供网上预约挂号、导医导诊、诊中支付、健康咨询以及健康管理等互联网医疗健康服务,致力于打造中国人的网上医院。2015年12月15日,企业成功登录全国中小企业股份转让系统(“新三板”),标志着国内真正意义上的互联网医疗第一股正式诞生。截至2016年3月底,产品从深圳、东莞、长沙、广州等城市逐步发展到北京、上海、香港、郑州、合肥、成都、武汉、南京等200多个城市,可挂号省份达到31个;服务医院2700多家,其中三甲医院超过1000家;可服务医生数47多万;注册用户数8200多万,累计服务人次超过2.4亿。
案例背景
官网是该平台用户流量的主要入口之一,产品部门希望能够在现有流量基础上,尽可能提高用户点击并预约挂号的转化率。在进行分析讨论时,他们决定将官网首页进行改版优化,并设计了1套优化方案。由于没有相关数据反馈证明改版后的首页效果优于现有页面,因此,产品部门决定通过A/B测试的方式,验证首页改版后的数据效果。
测试方案
由于两个首页版本的差别较大,且在试验开始前,产品技术部门就已将不同版本开发成各不同URL的页面,在这种情况下,产品团队决定通过AppAdhoc A/B Testing的“多链接合并试验”功能,对不同首页版本进行试验。(“多链接合并试验”是指,将多个URL合并生成唯一的试验URL,当用户访问试验URL时,将会自动分流到各个试验页面中,并获取行为数据,验证哪个URL转化率更高。)
本次试验的两个版本具体如下:
原始版本:顶部导航栏由版块分类和搜索框构成,将服务相关数据与首页banner结合置于首屏中部,“快速挂号”栏在首屏右侧,同时页面最右侧放置微信二维码等关注反馈类悬浮随动元素;
试验版本:将顶部导航栏的版块分类突出下移,同时改变搜索框按钮颜色,增加热门搜索关键词,改变首屏banner图样,将服务数据固定页面左上方的在顶部导航栏,同步调整右侧“快速挂号”的样式布局,将悬浮随动元素缩减为单个在线客服按钮。
将“快速预约挂号”的按钮点击,设置为此次试验的核心优化指标,同时关注页面其他按钮的转化情况。
测试目标
本次试验的目的在于,验证重新设计后的官网首页是否能对用户点击“快速预约挂号”按钮产生积极效果,以及与原始版本间的数据差异,从而选定首页的最终优化方案。
A/B测试数据反馈
本次试验在PC端进行,运行周期在2周左右(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。产品部门根据实时的试验数据反馈,逐步在线调整试验流量,最终得到了科学的试验结论。
-由于首页入口的流量较大,本次试验在进行一周后就得到了明确收敛的结果,试验数据表明优化后的试验版本胜出;
-在核心优化指标“快速挂号”的按钮点击数据上,试验版本不论是点击量(69%[+51.6%,+75.8%])还是按钮转化率(+49.67%[+41.8%,+57.5%])都明显优于原始版本;
-除此之外,新版本首页的其他非核心指标按钮的点击转化率,也小幅度高于原始版本的数据效果,因此的产品部门觉得逐步调大试验版本的流量至100%。