王晔-A/B测试驱动的产品优化和科学决策实践

ceo

在吆喝科技和 pmcaff 联合举办的“大咖分享会——运用大数据驱动创新发展”中,吆喝科技创始人及CEO提到了如何用A/B测试驱动产品优化与科学实践。

 

王晔在分享中谈到了什么是A/B测试,以及如何用A/B测试驱动产品优化与科学决策的一些新鲜案例,其中就包括他自己在 Google 负责广告创新研发时期的A/B测试经验,以及创业吆喝科技做复杂系统数据挖掘和分析的经验。

 

下面是正文:全文9000字,读完需12分钟

 

今天这个活动,是我们吆喝科技联合主办的,我们两家有一个愿景,帮助大家做产品也好,互联网相关的运营和增长,以及其他的业务也好,希望我们能够把我们的一些经验,包括像Google,还有优步,墨迹天气等非常成功的企业,能够聚焦的形式,浓缩的形式传递给大家,帮助大家以后的工作,创造环境让大家共同学习交流,共同推进互联网产品的发展,最终造福广大终端的用户,这是我们的愿景。

 

吆喝科技做的事情,做了很多研究,AB测试,是一个很有用的方法,以及很有用的一套软件,可以帮到大家在日常的产品工作,还有互联网的运营里面,可以帮大家提升自己的业务,能驱动所谓的产品优化,以及企业内部的科学决策。

 

今天重点就是说一说产品优化和科学决策的一些实践,大家可以感同身受一下,看能不能获得一些启发。

 

简单介绍一下我自己,我其实是清华的本科硕士学的电子工程,无聊的专业,后来去了美国的耶鲁大学念的计算机的博士,研究的方向计算机软件系统,互联网软件,互联网系统的设计和优化,写过一些论文,专利什么的,后来在美国的Google工作两年,有产品等的东西,主要Google广告搜索的优化,可以理解我当时的工作就是使用包括AB测试,包括数据分析,包括我们日常的经验还有拍脑袋的创意,种种方法试图让Google搜索广告的产品变的更好,好的定义,从Google对外的宣传就是说希望能够把更有价值的用户不了解的信息,能够通过一种更友好的方式,用户体验更好的方式传递给用户,给他更有价值的Google生成的内容,提高用户的体验,帮助用户提升自己的生活品质,这是对外的宣传。对内其实不是这个概念,对内很简单,怎么广告的点击率提升,让Google多赚一点钱,跑了很多的AB测试,试图找方法改一改自己的广告,推出一些新的功能,可以让用户更多的点击广告。

 

告诉大家一个数据,我做过很多的实验,最后那些成功的实验,让Google赚更多钱用户推向所有的用户上线了,这些东西都上线,如果换算成数字,相当于每年帮Google多赚五亿美元左右,其实在Google看来并不多,但其实也是很大的数据,AB测试,包括数据驱动产品优化的力量。

 

那么说到我的老东家,不得不提数据驱动文化,不光是在Google的搜索产品,安卓等大家听过的产品里面,甚至Google很多日常的生活方面的决策,也会用到AB测试这样的思想,我举一个例子,比如说Google有自己的食堂,有很多很多的食堂,这些食堂里很多地方可以优化的,举例来说,给大家提供什么样的餐,是给大家吃一点鸡肉,还是猪肉,还是牛肉,到底什么样对大家健康更好,更有助于大家产出更多的代码。还有一个例子就是餐饮盘子大小,这是非常有意思的实验,当时大家就会觉得Google的员工每当工作超过三年之后健康程度有滑坡,不知道为什么,可能跟饮食有关,体重会增加,颈椎病和腰椎病,病假变多,当时想怎么改变一下,想鼓励大家少吃一点,有助于大家的健康,把食堂里的大盘子变成小盘子好不好,当然有人反对,当然大盘子好了,这样一个人吃了很多小盘子,装了一个盘子没吃饱又得再装,这样其实效率很低,增加排队,反正两方的意见很多,后来跑实验,AB测试,什么意思呢?尝试几个类似的食堂里,推出不同盘子的方案,然后来对比哪个能够产生在食堂吃饭的这些员工健康程度最好,这样一个实验。那么最后得出一个结论,可以理解为三类实验,第一个实验版本是说这个食堂里都给大家大盘子,只有大盘子,第二个食堂里只有小盘子,第三个食堂有一些大盘子和一些小盘子,大家可以猜一下到底哪个最好,最好的是第三个方案,很少数量的大盘子加上很多数量的小盘子,这是最棒的效果,使得员工的病例的数量尽量少一些,大家健康程度更高一些。

ab测试原理

还有一个很有意思的实验,关于办公室的颜色,大家看到我们这栋楼办公室颜色主要白色为主,包括一些灰黑点缀,主要是白色,如果做一个实验,比如说在二层刷成黄色,三层刷成绿色,四层刷红色,对比三层大家的工作效率,比如对工程师来说可能效率代码提交的数量,或者BUG的数量,项目上线发布的数量,对比一下哪个更好,Google做这样的实验,最后的结论紫色比较好,如果办公室刷成偏紫的颜色工程师产出比较高,产品经理会更有创意,没有人知道为什么,这是实验结果。

 

大家已经有体验了,这就是AB测试的思想,大家对某种设计,或者某种方案,或者是某种想法,意见不统一,各有自己的理论的时候,这个时候最好的方法就是在现实之中拿真实的数据,真实的用户,真实的流量跑一跑,然后找到最关心关注的KPI指标来对比,数据来对比,告诉哪个方案更好。这种思想其实很简单,但是在实践当中有一个核心的问题,就是如果我们做测试的时候,我们没有考虑其他因素的影响的话,这个实验的结果可信性和科学性就不够,换一句话说,大家知道现代医学和传统医学的区别,其实有的时候大家并不一定知道他们有一些区别,比如医疗的方法,对人体还有健康的一些看法等等,除了跟医学相关之外还有一个普适性最大的区别,就是科学性。对于传统医学来说也会通过测试,实验的方法证明自己有效,比如有新的传统的疗法,怎么证明传统疗法好,就会去找到一些患者,真的用这个疗法对他进行治疗,去看他们能不能治好。传统医学这个实验结果不科学,不科学在哪儿呢?没错你有一个很好的疗法,然后能够治好一千个人,但是这并不足够去证明你这个方法真的好使,因为也许要治比如两千个人才能够治好一千个人,对比另外一种疗法,两千个人能够治一千五百个人,你这个方法不一定能够证明自己好,同样虽然能够治好他,会不会带来一些其他的副作用,或者负面的影响,也不一定知道。

 

所以现代医学对这个实验的要求就高了很多,怎么能通过实验证明你确实有疗效呢?他用的这种方法就是目前为止,怎么说呢,实验里面最最科学,而且广泛受到认可最高标准的方法就是所谓的AB测试。AB测试的意思就是说我要用一个,统计学意义来讲,可以去证明他有疗效的一种实验的方法,那么AB测试,就是把患者分成A组和B组,一种管他叫对照组,一组管他叫实验组,那么注意这些患者他们的病情病例,还有其他的情况基本上都是相似的,然后把他们均匀的分到实验组和对照组去。

 

然后我们会和这些患者,去告诉他,我们去测量一个新药,注意的是去告诉他们我们要测量新药这一件事情,是一个所谓的单方实验,就是说这些患者不知道自己被实验,他认为就是在尝试做治疗的过程,然后但是我们其实偷偷做了实验,我们让实验组的患者他们服用是我们想测的药,然后对照组的这些患者他们服用是和这个药长的很像所谓的安慰剂,然后他们都认为在服用这个真实的新药,最后我们来看服药了之后,采取疗法之后如何,看他的康复情况和病例,最后根据情况,如果实验组的患者他们使用了真药之后确实比对照组的安慰剂好了一定的比例,统计学的意义好了很多,副作用上几乎没有增加,才能够证明你这个药是有疗效的,才有可能去FDA和FDB去申请上市或者什么的,商业化的。

 

所以看到AB测试是现代医学的核心,有了这个东西才有了现代医学,这是大概19世纪发生的事情。以前的18世纪或者什么时候,可以坦白告诉大家,西医是比中医更加离谱的医学,而且离谱很多,这个故事我就不说了,有机会可以跟大家讲,在现代医学诞生之前,西医其实是非常糟糕的,他们经常会说,他们当时的理论很好玩,说如果我的这个疗法一定是有效的,凡是那些没有治好的都是得了绝症,他们都会死掉。另外认为直肠是人体健康的关键,都是很离谱,医学发展历史上很有意思的故事。

 

再说一个枯燥的概念,AB测试的统计学意义。其实是这样,是一个分离实验,对照组,实验组,有可能多个实验组,比如你的产品某个页面或者某个产品的环节,然后你把来到这个页面的访客,这些用户,如果是网页的话,每个业务单元聚合起来,形成实验组对照组。相当于用户请求分开,比如说最上面的一组用户他们体验的是A版本,就是所谓对照组,然后实验组的用户他们会被分配到B版本和C版本,有不同的体验,这三组用户行为互相不交叉的,不会先体验A或者再体验B,不会的。完成这个体验会有一些行为,比如关注他是不是下单了,是不是点了广告,是不是购买了装备等等,关心这些指标可以拿出来,一般来说我们所谓叫转化率,有了这个体验之后看他的转化率的数据,这些数据要进行一个对比,对比的话其实相当于说是你做了三组不同的版本,或者多组不同版本的用户数据的采样,然后通过这些样本来倒推这三个版本是不是有本质的区别,你可以认为三个版本是三个随机过程,通过采样判断三个随机过程的参数是不是有巨大的变化,大概这样的思想。

 

当你把AB测试应用到你的互联网产品的迭代,还有你的运营的实施之中,你就可以保证你的产品走势在不停的提升,只要通过AB测试的方法不断的迭代自己的产品,或者上线一些运营的话,会保证你下个月一定比这个月的转化率更高,产品更好,会越来越好。只要你的内部越来越好的话,外部会办的越来越轻松,增长团队,或者市场团队,可以更方便的去打市场和地推,买广告或者怎么样拉新,然后他们是事半功倍,最重要可以让你的用户体验越来越好,让用户越来越喜欢你的产品,这是最重要的。

 

我聊的很多做移动互联网,或者互联网朋友的产品来说,他们都认为口碑是最好获得用户的方式,然后你可以不断的做AB测试,不断持续的优化,寻找改进的空间,没有这一套工具和方法的话,持续的优化就完成不了。比如Google,Google的产品已经优化的很不错,几年前优化的很不错,现在依然还可以做到这个月比上个月好,下个月比这个月更好,就是因为可以不断的去做实验,找到比现在更好的方法。像百度,像俄国的或者韩国的阿拉伯的这些搜索引擎,他们都可以抄袭或者借鉴Google,但是Google没有人可以抄的,做的事情就是不断的做AB测试。

灰度发布

其实AB测试在互联网产品上的应用,倒确实是我们互联网人对这个世界的贡献,很多传统企业没有这样的工具和意识。互联网人第一天开始实践了大家所听到的MVP,换一句话说,我们都知道我们的用户肯定想要一辆保时捷,这是最终想要的产品,但是不会传统的软件工程,最上面的公法,知道你要保时捷,设计一辆保时捷,先一个轮子,然后底盘,车身,组装成保时捷。我不是大公司,是创业公司,跟着市场走的很快,不能像微软一样,软件工程就是这么做软件的,如果互联网公司可能这两年所有的机会都已经失去了,所以一定最下面的方法,需要保时捷,先给他能开的破车,然后迭代,通过AB测试怎么改进这个车让用户最喜欢,最后就改造出来一辆保时捷,就完美了,中间这种方案如果不是通过小的迭代,而是通过大的改动,先给一辆滑板车再给一辆单车,这种模式不是互联网思维,这个模式是必死的一个模式。

 

那么再说一下现实中AB测试的使用,在现实之中,我们做AB测试,或者是形成这样一种观念,其实都是非常自然的。就是我们会很关注我们产品里面哪个地方有问题,比如是不是跳出太多,注册的流失太高,或者是给用户展示了很多商品,但是点击率,详情浏览太低,还有如果你是电商类的肯定非常容易发现购物车放弃率很高,很容易通常日常的数据发现很多地方有问题,有待提高,这些地方怎么提高他们,通过做实验的方式分析判断种种方法。

 

比如一些软件工具告诉你什么地方有可能做提高,你会去通过做实验的方法尝试改进,然后这些东西,只要改进一点点就可以实现增长,非常简单。其实这种思想也有人把他总结起来叫做所谓增长黑客的思想,就是说把整个的产品,还有运营的模式,互联网产品,互联网运营的模式把他模型化,简单化,把整个用互联网用户流量的体验把他拆分成五个转化率环节,所谓的AARRR,海盗模型。

ab测试工具

那么五个环节分别是什么,大家可能也都听说过,第一个A是拉新,打广告买流量地推,第二个是激活,买来的流量怎么使他更多转化注册,或者下载成为你真正的用户,很多人在做,AB测试会做的更好。第三步是最难做的,也是产品经理,我觉得当然个人观点,可能是最重要的一件事情,包括至少留存最重要的指标,我们做产品做的好还是坏就看留存,如果同样提供的功能,如果你的产品比你的竞争对手留存率高,就比他牛,就这么简单。然后最后还能产生两个更加直接见到钱,我们领导比较关注的事情,所谓口碑营销,能够成为你的忠实用户,并且告诉其他人,我们用墨迹天气,就会分享给我们的朋友,分享给爱人说,明天要下雨,应该打伞,或者天气冷要穿衣服,这是产品本身带给我们的用处。更重要可以让产品直接通过口碑的方式获得更多的用户。最后一个环节直接产生营收了,比如联络广告,或者下单了,或者注册成我们的学生开始上课,如果金融类可能会购买我们的金融产品等等。这种增长黑客的模型的话,有点像传统的增长,或者是地推,或者广告的这种形式,有点像标准不对,或者正规军,很传统。而增长黑客有点像特种部队,你的方法有时候很有创新性的,更加关注用户很细的体验,通过这种方法来增长,而且很低成本,高效率的这样一个思想。

 

其实刚才我已经提到过AB测试用在日常当中的东西,这张图更直观的流程展示出来,比如我们首先通过统计和分析,来发现一些增长的机会,这个尤其可以用PTN还有类似的,可以去分析,然后找到一些增长的机会,然后把你的改进的想法通过改进的假设,AB测试来部署和实施,然后来验证,最后发现确实能够得到改进,最终发布给所有的用户,就是这样一个流程,其实是一个闭环,后面我会提到。

 

注意一点,AB测试并不能够替代你的创意或者你最大的贡献,你自己肯定要想这个产品功能上多做一点细节,或者应该是在这个UI上做一些调整,或者把这个加入购物车,点击领取大奖,或者这里绑卡变成点这里提现,很多这样的想法都来自于这里,只是通过AB测试验证他是不是有效,很多人和你想的不一样,然后这样的一种思路,其实可大可小,有些很细的,有些很大的。

产品优化工具

具体来说,可能有的时候我们是在我们的按纽,比如说添加购物车按纽,或者注册按纽,我们在这个上面做一些优化,其实说到这个,有很多不好的优化方式,就是说大家不知道有没有下载过一些软件,到一个网站搜到想要的软件,然后就会点到下载页面,会看到很大的按纽,但是那个按钮点了之后下载不是一个软件,是病毒或者别的东西,说明你去优化这个按纽,确实会提高转化率的,但是你得善用,不要乱用,还有UI界面设计,还有菜单功能页面设计,美团经常做菜单的页面变化有什么影响,页面的布局,还有推送的消息,会用的很烂,大家经常收到消息,一百元的大礼包待领取什么的,这种推送消息确实转化率比较高,但是不要乱用,你看指标的时候不要只看推送消息的点击率,还要看用户的留存这些更关键的指标,界面之类的。

 

除了刚才说的小的细节之外,还有一些大的地方也可以用到我们说的AB测试,还是互联网的例子,我很喜欢。知乎通过数据分析发现一个新用户回答超过三个问题活跃度比其他的新用户高一倍以上,想到一个想法,通过数据分析想到一个想法获得增长,能不能对任何新来的用户邀请他回答三个问题,看看会不会提高活跃度,他做了一个实验,如果你是一个男生,你注册了之后就会美女邀请回答问题,回答三个以后不邀请你了,通过这种方法实验结果非常棒,这个实验其实挺复杂,最后效果确实很好,变成日常的,所有人都会有这样的体验。除了像这样之外还有一些稍微传统一点的体验,他们也可以做这种大的AB测试,比如后台的派单的算法,两个不同的算法能够产生多少效益成本上的区别,还有这种金融的风控,两个不同的风控策略,客户中国银行做过,不同的风控策略哪一个带来更好的业务,更低的逾期和坏账等等,有很多可以测试的地方。我们知道像美团和百度他们会在自己的排序算法和推荐算法做不同的版本预测。

 

实践当中还有很常见的应用场景,就是我们做实验不仅是为了实验我们关注的那些KPI,当然用户的下单量,购买量,广告点击数和营收等等,这些大家都知道。还有一些其实也跟我们的工作息息相关,比如我们运维部门的一些指标,就是说,如果我上线一个新功能,会不会拖垮我的服务器,或者会不会带来我的客服人员突然一下被挤满,这些东西也是可以通过AB测试小流量发布,推送发布这样一种思想来解决。就是你的新功能,或者你的新想法,运营策略,比如促销什么的,先推5%,或者1%,或者体量小,当然可以推20%的用户,然后来看看数据怎么样,最后发现也许20%的人已经把你拖垮了,赶紧把实验关掉,如果发现20%只需要很少的资源可以支持,而且数据不错,一个是你自己的支持的不错,成本不错,你的效益不错,推到50%、80%、100%,这是很常见的实践了。

 

然后再说一些AB测试,我们到底什么样的场景下可以去做实验,以及你对他的期待什么样子,比如说价格的展示,同样是75块钱,这是类似旅游产品,同样75块钱展示二折,展示折扣,还是展示成实际的价钱,可能不同的用户点击量或者转化率不一样,说到这一点,如果有经验的产品经理马上会感觉到,右边这种方式75美元一晚,比较适合给男性的消费者,折扣比较适合给女性的消费者,因为大家不同用户思维方式不一样,男的不在乎到底多少折扣,就在乎到底多少钱,这是一种,做了一两年之后马上有这个感觉,但是到底对不对还得跑实验才知道。跑AB测试测一测,你的用户哪个更喜欢,还有定价,同样定四百块钱,是四百块钱展示成0到900的四百还有0到600的四百,会影响用户的心理,可以做测试哪个能赚更多的钱,还有包括四百块钱也可以399,或者398,或者402,可以看哪个带来的营收更多。

数据决策优化

现在慢慢进入一些稍微有意思的话题了,那么我们来看后面会说一些吆喝科技用户的案例,让大家有更直观的体会,这个案例是泰康在线,泰康是一个保险公司,也有自己的APP和网站互联网产品,比如会考虑到对自己的广告展示数量做一些研究,然后可以做一些对比,会发现把可展示的广告数量稍微增加一点,下面的这些东西挤下去了,看上去好象有一点损失,但是实际效果还是很不错的,大概提升了5.1倍广告的转化率。

产品优化

再看一个,Max+游戏公司,是我们的用户,Max+在很多产品可以不断的优化,注重数据的游戏公司,甚至论坛里面也愿意分享很有意思的案例,论坛帖子的排序,希望看不同的排序方案对帖子点击率有没有影响,很多时候产品经理,包括我自己有的时候觉得帖子找一个编辑,靠一个优秀的编辑姑娘,可能能想出来很好的方法获得点击率,也不要小看工程师们,他们有一些算法也是很棒的,也能提升的,你看对比了原始的点击量高于传统的算法点击量,很有意思的结果,推出新的算法不如原来的算法好,当然找更好的算法可以点击越来越多。

APP优化工具

再看一个中国移动的案例,和我们合作我们自己很有压力。他们做的实验很大的实验,比如诈骗短信的识别功能,就是如果大家用中国移动的一个APP,4G流量管家,大家看都是查一查帐单,买100兆的流量包,做这个事情,这个可替代性很强,支付宝能够替代,这个产品用户不一定会用,希望能够提高用户的使用率,活跃度,留存,那么会推出尝试做各种各样的实验来提升,那么其中有一个实验很成功,我们也很喜欢。所谓诈骗短信识别,就是说如果你收到一条短信可以打开APP点这个东西能帮你说这一条短信是不是诈骗,我觉得其实对老人挺有用的功能。

APP优化技巧

然后想法很好,我们做实验试试看,首先实验要解决就是刚才的灰度发布,小流量测试,解决对内的测试,这个功能并不完全全自动的,点了这个东西之后有的时候需要人工在线帮你判断,所以到底需要占用人工多少的时间,多少人才能够完成,所以做了这样的实验。后来发现20%的用户参与这个实验,发现需要大概几十个人服务全国的用户,他就知道,大概需要几百人的规模客服团队,后来推到50%,最后推到100%,上千人的团队来服务,同时结果很不错,活跃提升了10%,留存提升了3%等等。

 

再看一个Dior的例子,他的客户比较传统。产品经理和运营人员自认为比咱们在座的人会牛的,他们会觉得对女性消费者很理解,我知道女孩会喜欢什么东西,所以上面的原始版本推出口红是这样,往下滚可以看到这些口红可以点击购买,自作聪明说可以这样设计,这个设计就是说,模特和消费者有演示和交流,更加能够贴心或者吸引下单,如果没有记错,实验结果非常失败的,原始版本应该比这个实验版本要好了3倍的转化率。

所以就是说虽然有的时候我们自己产品经理跟这个经验会觉得我们很理解自己的用户,但是实验结果,做一个实验真正跑下去会知道是不是这样,这是一个科学性最重要的地方。我们可以像传统的医学那样我们去按自己的想法来,按自己的经验来,我们也可以按现代医学的方法,做实验的方法,我相信这个方法会越来越受欢迎,然后正好可以为墨迹天气引出,这个是墨迹天气跟我们分享的案例,他们做分享按纽,刚才提到愿意天气分享给自己的朋友,自己的女朋友男朋友或者什么之类的,可以让他们去知道天气怎么样,应该多穿点,或者涂点防晒,更重要获得用户。其中一个效果最好提升了18%,11.9%到23.6,如果方案三上线我们有足够的新鲜会提升11.9%分享的点击率。很有意思,这个经验很好玩,后来我们跟他们聊的时候,他们的产品人提到过,第三个方案其实是苹果设计的分享按纽,很棒的。

 

如果大家没有做过AB测试,我相信可能在座的朋友如果经验少的话确实没有过,那么这里有一个所谓领域内的一个大拿推出的所谓七条经验,我觉得蛮不错,现在看一看不会有感觉,但是可以记住,以后实践当中很有帮助。

网站优化技巧

第一条经验,效果惊人。就是真的当你做了一些实验发现有的时候小的改动能够带来非常大的影响。像Google,甚至我记得我在的时候,他们一个本科毕业的小朋友,实习生,做了一个实验,提升了6%的广告点击率,几十亿美元的营收增长,很可怕。大多数改动并不影响你的KPI,很多时候确实,你的产品里面的核心功能,或者什么,对于用户的影响就是那样,小改动不会有效。

 

有一个Twyman,出人意料的图表都是统计错了,希望大家用很好的统计工具,像吆喝科技的,另外很多产品不一样的,复制他人的经验往往没有什么用的,有很多的例子,但是可以想像,如果京东的电商去把产品的体验流程借鉴一下淘宝的流程一定是灾难性的后果。

 

但是任何能够加速用户响应时间的改变一定会带来KPI的正向提升,这一点大家要记住。如果你的工程师或者这些技术同事们他们说,我有一个办法可以让H5加载更快,或者有一个办法让用户注册更快什么的,要无条件支持他,这个动向一定是正向KPI,而且可以做一个实验,拿这个东西找领导说我要加薪。

 

然后关注产品质量,还是那个意思,我们有的时候优化会走上邪路,就是说我在某一个页面找一个大美女点击率会很高或者怎么样,有一百元待领取抽奖之类的,这些东西会提高某一个地方的转化率,但是对用户的产品质量来说并不一定有帮助。有一个非常经典的例子,如果你做电商O2O,以下单为主的产品,你会发现,如果你在商品展示页面或者列表页面里面去加强每一个商品的价格,那么价格显示很清楚,非常有可能你的商品详情浏览的数据这个量会下降,用户会更少点开你的商品,但是最终用户的交易量会上升,因为你的商品展页的时候,在列表的时候更快找到自己想要的商品,不会点进去发现好贵或者点进去发现好便宜不买,会更快找到自己喜欢的商品。同样可能每天页面停留2分钟,但是如果能够更快的找到想要的东西更有可能更多的下单或者更快的下单,这些都是很好的。

 

尽量做一些小的实验,小到一些细节,按纽、文案、图片、流程等等,尽量不要做特别大的实验,Facebook曾经60个人开发了一年新的以图片为核心,用户活跃下降了十几,广告下降了20%,最终这个实验失败的,关停,人解散,他们的产品副总裁都次之了,可以看到尽量不用做特别大的实验,特别大的改动干脆别做实验,直接上线,获得领导的支持。

 

刚才说了有了这一套工具我们会形成一个闭环,首先发现确定问题找到我们产品里面有什么地方可以提高的,是注册、下单,还是什么地方,留存,提出假设进行实验,我们做了什么改动应该会带来一些什么效果,跑实验室看是不是这样,采集数据,分析解读,决策和总结改进,形成闭环不断的优化,这是AB测试常用的方法。
提问1:我想问一下,咱们是AB测试,那咱们在分流的时候怎么保证分流的均匀。

王晔:实际上是这样,是我们吆喝科技的技术主要解决的问题,不光是保证分流的均匀,而且要保证调流量的时候仍然能保持科学性和均匀性。我们的做法其实是通过,2013年有一篇论文讲的这个,我们叫分层分流,我们会对用户,根据他的属性还有行为,对他进行一些分类,然后再进行采样,我们会后台把用户的实验组,这些都事先采样好,然后做实验的时候,不需要做A测试,直接有一个可以用的实验组,实验组为单位分配到实验里面去,这个可能有点粗糙,但是要感兴趣可以关注我们,或者和我们详聊。

 

提问2:还有一个问题,咱们现在做AB测试,但是就是说行业里面应该有一些其他的公司在做这一件事情,咱们的产品比那些公司好的地方,优秀的地方在哪里?

王晔:我们首先提供SDK和API,可以很灵活,无论是在后端,比如C++或者+了代码都可以进入我们的平台做AB测试,然后当然包括这种更常见的APP和网页都可以,其他的像VWO等他们都是聚焦某一个场景,移动应用或者广告页面等等的,我们就比较灵活通用。

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

 

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

6228 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。