AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
LesPark隶属于北京高梓行远科技有限公司,是一款基于地理位置的全球女性交友软件APP。
案例背景
作为同性社区,直播功能是拉拉公园一个很大的流量入口。为了增进观众与主播的互动,提升用户体验,拉拉公园的产品部门决定对直播界面中的送礼功能进一步优化。经过对A/B测试的了解,他们希望借助这种科学的试验方法,保证此次优化效果。
测试方案
为了便于用户大量刷赠送礼物,产品部门基于现有直播页面中的送礼功能,设计了一系列的优化方案。但考虑到这些概统对用户行为可能会产生的影响,他们决定这些新元素整合成一个试验版本。通过AppAdhoc A/B Testing采用科学的试验流量分割机制,先给小部分用户灰度上线试验版本。同时,在试验过程中随时分析相关数据,根据真实效果实时调整用户流量,从而确定新版本是否可以作为迭代方案正式发布。
具体优化方案如下:
1)新增一键选择礼物送出数量,在发送按钮左侧增加礼物数量拉栏,用户直接点击想要送出的礼物数量(如520个,1314个)即可送出;
2)将礼物计数从各个礼物的右上角移至礼物列表下方;
3)用户赠送多个礼物的触发方式,由原来的多次点击变为长按。
同时,将两个版本中用户点击“发送”礼物的次数作为此次试验的核心优化指标。
测试目标
这次试验的主要目标是,通过对比两个试验方案中用户实际发送礼物的情况,验证新方案是否可以提升用户体验,从而促进直播平台中的互动效果。
A/B测试数据反馈
本次试验在Android和iOS平台同步运行,周期为2周(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。通过对试验数据的对比分析,产品部门得到了科学的试验结论。
-产品部门考虑到用户影响范围,将新版本初始流量设置为10%,运行一段时间后,并没有收到用户的负面反馈或bug崩溃等问题;
-通过分析试验数据,发现试验版本(增加礼物数量拉栏)在礼物发送转化上提升了9.26%;同时,用户反馈调研中也证实,新版本的用户满意度更高;
-在综合评估后,拉拉公园的产品部门将试验版本推送至全量用户。