A/B测试结果精细化统计,怎样做才能更准确?

A/B测试中,我们通常以“天”为最小时间单位运行试验,并尽量保持较长的试验运行周期(建议至少7天),目的是尽可能让参与试验的样本属性足够丰富具有代表性,使得A/B测试的结果更准确。

但在实际业务中,用户行为具有一定的时间分布特征。这些行为特征具有非常明显的时段分层。例如,某些活动的分时段秒杀和餐饮行业早餐时段。那么对于上述的特定时段的业务场景,有没有好的A/B测试方案呢?

现在,使用热云数据AppAdhoc推出的“定时统计”功能,根据输入时间段统计所需数据,保证试验采样更具有针对性
7228bd4eecea25b2b048be8dc0e96fe11

我们把具有时效性的A/B测试场景根据不同的主导对象,分为两大类:

用户主导

受吃穿住行等多种条件影响的用户自主的行为事件,例如:网络打车,购物,在线外卖,游戏等等,这些事件由用户主导,具有一定的主动周期规律。

39431561cd53604bdf8f2d120c93f350

商家主导

根据商品属性,节日属性,活动属性,季节属性等等因素,商家推出的具有明显时效性的活动,例如超值早餐,超市晚间限时折扣,健身房忙时闲时不同费率等等,根据用户的行为反馈,由商家主导的事件。

3ab24ad6b84aebc7e1ced0ab5b6c2f43

了解了不同的测试场景,之后就可以根据试验需求来配置试验了,请注意,上述用户主导的事件在一天内会呈现多时段,行为时长不一致的特点,因此,需要根据实际情况来进行AB试验设计,避免得到不严谨的试验结论。

用户主导的定时统计试验场景:
  • 娱乐类,游戏类,购物类

每天20:00点之后,娱乐、游戏、购物的App会有一波流量高峰,试验时间就可以选择在每晚的21:00-23:59,(试验场景可以是用户粘性,版式差异,福利差异,指标可以是CTR,停留时长,收入金额等等)聚焦核心用户在此时段内的行为对AB测试内不同版本的表现影响。

  • 出行类,如打车软件

如果是打车软件,准备上线”早晚拼车”这类功能(试验场景可以是推荐算法,指标可以设置为拼车耗时,拼车满意度等等),就可以选择上下班的时间段(7:00-10:00/18:00-20:00)进行试验数据统计,让参与试验的样本更具代表性。

商家主导的定时统计试验场景:

另外一种适用“定时统计”的试验是:有时效性要求的场景。比如外卖平台的“下午茶”活动,如果想对“下午茶”做A/B测试,就可以选择对应时间段(14:00-16:00)进行数据统计,既保证了数据的上报的完整性,同时又不影响其他试验的运行。

“定时统计”功能需要根据AB测试想达成的目标来决定是否使用。如果要进行的A/B测试场景并不需要区分不同时段的用户,那么就需要采集全量数据进行科学试验。

“定时统计”是A/B测试精细化运营过程中的一环,具体如何去使用,是否需要搭配“定向试验”或其他功能做更加精细化的运营,怎样将小功能融合到业务中,将工具与业务紧密结合,这些都需要在不断的试验过程中吸取经验,从而让工具更好的服务业务。

试验驱动增长,尽在AppAdhoc!>>快速试用<<

124 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。