如何制定切实可行的abtest方案?

 

切实科协的abtest方案,要满足三个层面的需求:

第一,科学合理的abtest关键指标

第二,符合行业特征的abtest 实施策略

第三,置信区间等统计学意义必须成立

科学合理的abtest关键指标的确立,需要abtest的需求方和abtest测试工具服务提供方共同确立。需求方的关键指标,能够反应需求方优化目的,但是并不一定是切实可行的监测对象,abtest测试工具服务提供方的客户成功经理会根据具体监测的情况和行业同行的规则来帮助需求方优化指标,更好的实现试验目的。

符合行业特征的abtest 方案的制定,同样离不开客户成功经理结合大量的abtest实施方案和实操案例,来制定符合某一个公司、具体优化场景的需求,去制定abtest优化方案。abtest方案不是一个框架性的大纲,而是一个可执行的abtest实施策略,即优化哪些平台、切割多少流量、优化多少时间、优化哪些点,是否继续进行进一步优化等等。

最后,所有的切实可行的abtest方案都必须建立在技术科学和数据可信的基础上,其中最关键的就是要保证数据收敛和置信区间收敛。关键指标的数据收敛,能够保证abtest方案在误差可接受的范围内,而置信区间的收敛则标志着abtest的可信度,在科学合理的范围内。

4654 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。