A/B 测试的银行业实践探索

bank背景

随着中国利率市场化的基本完成,实体经济的转型升级,传统银行业躺着赚钱的时代已经一去不复返了。传统的零售领域涌现出许多以“Fintech”为标识的新玩家,以蚂蚁金服、京东白条、宜信等为代表的强劲表现,甚至宣告坐着赚钱也已经愈发困难。

 

面临如此困境,恰逢“互联网+”大行其道,对手又大多来自互联网领域,互联网化改革已经是传统银行不得不做的一件事—向竞争对手学习

 

契机

首当其冲的就是线上渠道的互联网改造。建设银行,广发银行,中国银行等已经把原来的电子银行部改称网络金融部,决心之大可见一斑。同样的网页、APP等互联网产品首先是需要借鉴互联网产品的上线方法—灰度发布

 

传统银行上线产品的内部流程是大致是电子银行部的产品经理向信息科技部门提出开发需求,经过开发排期以及内控部门安全审查后,最终实现产品的上线。有时版本的更改甚至是颠覆性的,这样就造成很大的风险。线上业务的大量投产,虽然经历了内部的测试环节,但仍然会面对出BUG的窘境。闪退、崩溃、死机、兼容性问题层出不穷,有时甚至用户打电话过来,研发人员仍然没有发现问题所在。这就严重影响了业务系统的正常运转。

 

那么具体到灰度发布,银行可以结合自己内部的白名单用户,这些用户在请求广告或者其他接口的时候,是不走正常的业务流程的,直接返回某些数据;同样也可以自定义某些规则用户,比如某类用户群体,不同年龄,不同性别,不同地域,这也是需要返回特定数据。这样就可以简单有效的避免上线事故发生时的尴尬。

 

互联网产品从来不是一蹴而就,需要不断跟进局部用户反馈并优化,这在海量的互联网产品都有所体现。这也成为大家的一种共识。

 

除了上述来自BUG,兼容性等技术层面的问题,风险更多的是最关键的用户增长的业务层面。这也就引出了A/B测试这种科学的先验体系。A/B测试是一般互联网产品经理在产品上线的做法。将新版本与原始版本同时上线,以A/B测试试验的方式,完成新产品的试飞。确认“飞行性能”良好,才会推行到全部流量,这样能够确保业务指标按照预期实现安全达阵。数据驱动决策,AB测试完美的诠释着精细化运营的理念,将此经验推行到传统银行亦能收到上述效果,于是有了产品上线流程的互联网化。引入A/B 测试,可以开启用户体验服务的全面提升之路。

 

有了A/B 测试系统,粗放式产品迭代管理,变得不可思议。DataStax 的CEO Billy Bosworth曾经说过:“从现在开始十年之内,当我们回顾大数据时代是如何发展的时候,我们会震惊在以往做出决策时信息的匮乏。”产品层面的决策离不开AB 测试这样的大数据运作模式。大数据并不是数据量级的大,而是一种以数据驱动业务的机制。A/B 测试恰恰体现了互联网思维的精髓,快速迭代,小步快跑,不断试错,形成小机会迅速积累成大价值。

 

实现

1、经过业务流程的重塑,大致形成了敏捷开发的优化设计。需求提出后,经过确认改版的设计并完成开发。开发形成的版本首先在内部工程用的服务器进行部署,经过1-2个月的内部联调测试以查看是否能够达到设计预期以及产品内测的标准。然后就是内部版本发布,会挑选内部员工进行试用,直到所有被测试员工无力吐槽为止,此为产品诞生第一重考验,吐槽大会阶段

 

2、经过内测的产品,接下来的工作就是逐步的上线。必上的功能首选灰度发布,解决后顾之忧。不同设计版本的PK,上AB测试,先拿局部的小流量,比如10%的用户量,5%会看到新版本,5%会看到原始版本,实际去验证用户的反应。这样就有了新版本与原始版本的对比,从数据层面来说,就有了说服力,看看新上线的功能是否真正为用户所喜爱。此为产品诞生第二重考验,小流量试水。最后如果新版本提升效果显著,就会全量上线。反之,被干掉。此为产品灰度与不断迭代优化阶段,从测试到生产环境的实战。银行产品在生产环境下是非常严苛的(较之普通互联网公司),不能出现事故与业务指标的大幅下跌,否则会被内部追责,甚至会受到来自银监会的压力。所以灰度与A/B测试也显得重要异常。

 

3、总结下来,最后的发布流程是这样的:需求评审和确认–>撰写可研报告+项目分解–>开发阶段–>内部环境测试+联调–>内部发布,收集反馈–>小流量(具体有多小取决于业务影响面)公网测试–>收集数据总结反馈–>全量上线。

 

经过了A/B测试流程的产品,意味着产品在正式上线前一个科学的用户调研,表现好的版本最终上线,反之则被淘汰。日积月累的A/B测试,确保了产品能够实现确定性增长,不会出现开历史倒车的风险,这也是硅谷同行如此注重先验性数据结论的缘由。国内的A/B测试虽未蔚然成风,却也在BAT,美团等互联网巨头内部发挥着不可替代的作用。而传统行业要想拥抱互联网,实现互联网+,A/B测试可谓最直接,最有效的不二改造之路。

 

本文作者为王磊@吆喝科技原创,未经允许,禁止转载。

6411 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。