张登豪:试验驱动业务增长的模式探究

近些年来,试验、数据、创新以及增长等热门词语不断出现在互联网企业的日常业务中,如何在红利即将逝去的市场竞争中通过试验及数据持续创新,提升产品体验与用户互动使其留存并实现业务增长,各环节的优化与迭代是每个行业都需要考虑的问题。

为了切实帮助大家一起解决试验驱动增长的业务难题,吆喝科技及旗下达尔文实验室在8月25日在深圳虚拟大学园主办了主题为《试验、创新、增长》的系列沙龙。

吆喝科技是国内领先的A/B测试平台;达尔文实验室也是吆喝科技自家旗下的一个子品牌,也是一个牛人汇集的平台,目前正在牛人招募中。本次沙龙正是在这些大背景下展开。

我们特意请到一批业内顶尖的专业人士,有来自行业前沿的小小金融创始人李一先生,有着丰富数据驱动经验的吆喝科技商务总监张登豪先生以及长期研究增长黑客的增长黑盒创始人张希伦先生,一起为大家带来一场干货满满的线下沙龙。

下面就和我一起来回顾一下张登豪先生的精彩演讲吧!

我负责吆喝科技整个华南的客户服务,下面有列举一些我在服务的客户,比如说创维、康佳等等。

我们老板也是王晔,他在硅谷谷歌带了8年,所以他经常我们去北京的时候,经常跟我们聊到谷歌的事情。首先看看谷歌几个案例,第一个是谷歌在2000年的项目,这个项目很有意思,我问一下在座的各位,大家有没有注意,现在的谷歌,你们去搜索之后默认的显示有几个结果?10个,在2000年他们针对搜索页的显示结果到底是几个,争论不休,这样多次去措施,最终就像刚才李一老师所说的,最终就是10个搜索结果。大家想象10个、20个有没有区别,其实有区别。

包括我跟大家介绍的第二个案例,这个案例也做得很简单,谷歌的搜索页面,这上面是广告,这个广告是怎么收费的,按点击付费的。谷歌做了什么试验?把这块区域不断地去调配它的颜色,以及文字大小以及大小组合,去做了M多次的试验,到底这个地方用什么字体好,不断去做多种排列组合的试验。这个试验真的是给谷歌每年的营收增加了千亿以上,因为它的改变直接带来我作为用户去访问的时候我点击就增多了,谷歌的营收就增加了。

这个试验在谷歌的话,测试已经成为信仰了,除了在线上的试验,他们也会在线下做试验,谷歌有员工餐厅的,他们会去测试我餐盘的大小会不会影响员工的食欲,完了会去观察,我在接下来的一个月,我都用大餐盘或者都用小餐盘,然后再观看员工的请假记录会不会增多了。包括他们针对一些办公区域的颜色做一些试验,红色会不会提高人的工作效率,蓝色是提高还是降低工作效率,他们会把整个AV测试的文化都融入到整个当中。

像刚才大家听过张希伦老师的分享,在国外A/B测试已经成为标配,接下来再看看另一个案例,这个案例也是同样在座很多各位的疑惑,这张图实际上是早期创始人,红色是他们的功能从上线到下线整个的变化,纵轴大家知道Airbnb是做住宿,整个这张路呈现给创始人,第一个问题是我们这个功能是带来增长,还是没有带来任何增长,还是带来了下降。大家可能看的时候,大家这样看的时候,这个点低一点,这个点高一点,有可能直观理解它是增长的。但是他们同一时间只上线这个功能吗?不止,他们同一时间改动的地方有很多,如果它带来了增长,而我们没有人知道,那对于作出这个功能点的团队来说是不公平的,因为它应该受到更多的奖励。如果它没有任何增长,那做它干什么,或者它下降,这么长的时间,我们有可能亏损。这是创始人的疑惑。这个地方说明一个问题,如果你任何功能的改动,不去做测试的话,不去把现有的东西跟新增的东西去做对比的话,那么你将不知道你所有的功能做了到底是好还是不好。

跟大家主要讲一下,这个抛开不去测试的情况下,我们在座的很多各位去更新产品,或者做一些新的产品上线的时候,更多从哪几个角度来说,第一个参考精品,或者行业的龙头,第二个按照个人的经验来判断一下,我觉得这个地方改动一下会对用户体验更好,第三个还有就是听大佬的,头说怎么干我就怎么干。这个不足以保证你做出的改变是用户最喜欢的。这里包括Airbnb,这几年会是国外很明显的独角兽公司,我们可以看它这里很经典的案例是什么的,Airbnb的登录方式,这上面一个是谷歌登录,一个是Facebook的账号登录。它做了一个试验是什么?把它挑换一个位置,把Facebook换到边上,就做这一个动作,这个概率就会提升。而且从2010年-2015年Airbnb住房数量提高了361倍,他们在2011年去做了测试,确保他们的上线之后是带来好的结果的,才去上线的。

我们前面举了两大公司的例子,都是现在国际上比较知名的公司,实际上里面都提到一个词叫试验驱动增长,这个试验到底是什么,包括前面张希伦老师也说它就是A/B措施,A/B测试到底是什么,数据统计是什么呢?我把我的功能上线以后,跑了一个月,我再来通过数据统计工具看一下,我这个漏斗有什么问题,然后再上线,这样来对比。那你所有该损失的地方在上线的过程中已经损失了。A/B测试可以以小流量、小成本测验,我可以得出一个结构,我现在切了这么多流量,得出来的结果,上线的功能是更好的。比如说我的A版本提升了34%,那这个A版本提升34%,它的人群可以代表我全量用户的特征,当我去把流量放到100%的时候,它依旧是这个结论。所以这个属于A/B测试,我用这批人来测试,它能够代表我整体的测试。

第二个流量分割与小流量测试,因为全量测试可能会有风险,这个伤害直接是线上的用户。这个就是A/B测试。

大家会发现我们平时使用最频繁的微信,大家平时遇到过BUG吗,但是比较少,有可能我们遇到BUG的时候,我们正出在A/B测试被测试的人群里面,因为有我一次印象很深,我看它微信文章的地方阅读留言的地方,那个留言两个位置,我比较关注,我每次看完文章都会喜欢看评论。突然有一次我发现留言的位置变了,过了一段时间又回来了。这个就是我记住他们非常测试的一次。

第二个多方案同时试验,最快找出最佳的决策。我想在座的各位,如果有产品经理,或者有运营的同学,大家可能会有很多的想法,我这个地方的按钮,我想用橙色、红色、绿色什么颜色都想试一下,包括这个地方有好多个版本,我找几个人帮我做出来吗。所以这里直接把多方案同时在线去跑,跑出你要的最好的答案。

第三个从试验中获得最佳体验,促进产品优化。很多时候现在的用户也很挑,第二个现在的用户被太多的信息所干扰,一旦我发现这个地方有点点不太舒服的话,马上可以找到替代品。所以得伺侯,伺侯好的话就行。

刚才也提到了,实际上现在的互联网环境就是这样的环境,大家已经不在是我只要有流量过来,我的东西就能卖出去,我只要有人过来,我就能把我的营收坐上去,现在不是那么一回事了,现在消费者的心智有太多干扰的因素,我自己会关注比较多的公众号,但是我会在过了一段时间滞后,我就会取关。我觉得这个公众号写的内容没有我想要的,我看了两三次之后就会把它删掉了,我只会留下来持续让我认可的公众号。所以很多的企业,包括像很多的行业,每一个流量的获取它的成本都是很高的,特别包括金融行业,互联网金融,特别是APP一个下载已经达到了160元。这个无非说明现在已经进入一个情况,我们必须要去做精细化运营,不管是你的公众号,还是你的网站,还是你的APP,其实都进入这样的时期。

那么怎么去做精细化的运行呢?刚才张希伦老师帮我提前跟大家讲一下这个AARRR模型是什么,你会有拉新,想优化你的广告,你的邮件等等内容,要让你铺出去的内容更好把你的流量引过来,这个可以帮你去做的,第二个我来了你的网站,我得第一次产品体验好与不好,直接体验我是你的僵尸粉还是活跃粉。

我在各个板块,直接体验用户来了之后能够继续玩下去。

第三个留存,我们说只顾拉新不顾留存的话,你让很多人来的,然后看了就走了,所以留存是我们需要不断去关注的,也就是刚才讲到次日留存,七日留存。

第四个付费变现,你下单的流程是不是可以更简单一点,你购物车等一切支付流程,你的颜色、价格都可以去做试验。而且这一块做试验的话,一个很明显的效果就是,直接跟我们的营收是挂钩的。

包括最后一个很重要的是推荐,像周边朋友推荐你的产品。我一一就这些每一个阶段跟大家去举一两个案例。帮助大家去理解说,怎么样以试验驱动增长。

首先我们可以看到拉新,这是早期我们跟滴滴合作的时候,滴滴在我们平台上做的试验,左边这个是它的原始板块,国内招募司机的时候要求不高的,你面对的人群,你的用户层次并不那么高,可能品牌调性对于他们来说来远了,所以他们做了卡通版,车主招募,有车的人就应该来,这些就很接地气。所以他们把这个着陆页上线上去的时候,当时这个活动是持续了2个月,用前面的半个月去测试,测试得出来的结果就是这个样子,试验版本1提升了18%的测试,试验板块2提升了21%的测试,接下来一个半月都用这个去做他们的投放。但是最终去做统计的时候,他们觉得这个地方很好,他们在最开始的时候,他们一个司机的获取成本在256多元,最终这个活动结束的时候它的成本降低到了80多元一个人。这个就是直接对他们投放的一个效果,这个投资回报,是有一个很明显的提升,这个拉新阶段的案例。

我们来看一看,这个公司大家知道吗?NETFLIX,它主要是做视频的,最早是做DVD租赁的,后来慢慢自己去做视频,纸牌屋就是他们自己家出的视频。所以视频类的播放,他们最关注的核心指标是什么?视频播放器,他们这一类的产品最关注的是,一旦我一个用户来了之后你就不要走,你看完这个视频再给你推其他喜欢的视频,一直持看下去。这是他们很关注的指标。所以他们很注重后端的推进算法,你看完这个视频,给你推到什么视频,所以他们在后端的推进算法上做了很多的试验,它们本身的数据团队非常强大,非常注重后端推进算法的设计以及研发。这个是NETFLIX的试验,我们有一个合作客户跟他们的试验是相关的,就是参考消息,是相关阅读的推进算法。这个试验的背景是什么,当时他们的运营渠道也是去新采购第三方的推荐算法,因为原始版本是他们的自己的推荐算法,他们把第三方推上去,他们去对比,他们在三个渠道去对比,这三个渠道是不一样的,在另外一个渠道,第三方比他们的自己的推荐算法要好。最终这个试验的解读是什么,它可能需要去了解每一个渠道用户的特性,然后再根据这些用户的特征性去做渠道投放,没有办法说你固定每一个渠道都是做哪一个推荐算法好,所以它需要做更多的不同的排列组合。

这个是在留存和粘度上。接下来看在转化和付费上,这个是追书神器,它在开通包月这个按钮,这个上面是购买章节,这上面是开通包月,后来换了一下,把开通包月换了一下,他们上线跑了半个月,发现开通包月的点击以及支付提升了1.5倍,这个会提示客户更加关注你的主要按钮。

第二个案例就是它充值组合试验的时候,大家可以看到它的原始板块,5元、10元,30、50元,100元,试验板块把5元去掉,试验板块2把5和10都去掉了,对比是什么,它关注的是这一段时间之内,用户来了这里之后,它整个这一块的营收,这是它关注的指标。最终这个试验跑了没有多长时间,大概是13、14天的时间,然后就得出来,它把5元、10元去掉的那个,就是试验板块2提升了20%的营收。因为我自己也有在做追书神器,我就是这种人,反正冲5元也是冲,冲30也是冲,这对于我想去买充值组合来说,哪个更划算我更愿意用哪个。所以后面充值的组合相对来说做了一些调整。

这个是在转发和付费阶段的。我们再来看传播和分享阶段,这个是墨迹天气在我们做的试验,用不同的分享按钮,这些应该大家都经常看到吧,可能大家用了不同的产品用的是不同的,告诉为什么,这是正常的。因为当时墨迹天气在做这个试验的时候,也是跑了10多天的时间,得出来的结论是,在墨迹天气里面,他们用这个按钮用户的分享率是最高的,用户的分享比原始版本提升了20%。

同样地,我们另外一个客户是虎扑体育,它用最好板块,另外一个用三个点,原本的话他们就是三个点。结合虎扑体育跑出来的是他们这个是下降的。所以有的时候我们去做一些功能,做一些界面的改动的时候,参考精品以及参考其它的产品不一定有效。因为每一个产品它面对的用户群体有用户群体的特征,所以你只有通过数据才能够告诉你说,你的用户最喜欢哪一个。

这个在哪一个分享阶段,还有其他的分享,我印象中有一个很经验的例子,我们有一个客户是123的,是租衣平台的,他们做了一个文案的改动,给他们带来了58%的提升。他们做了什么改动呢?原本这个页面有一个分享的按钮,这个文案就是邀请好友,然后它把文案改一下,研究就去邀请好姐妹,就这一个文案的改动提升了58%。

前面我从拉新、留存、激活、付费转换到分享,大家对于试验驱动增长怎么做。这里我给大家举一个案例,这个也是我们的老板跟这家公司的增长负责人有过反复的沟通挖出来的宝贝。

第一个首先这个是美国的投资理财的公司,叫Acorns,他们有一个增长负责人,首先会设定增长目标,我的增长目标要去提升用户的留存。确定这个目标以后,我再去聚焦我的领域,我要在哪个领域去提升用户的留存。聚焦到定期投资功能,它的期望是新用户开通定投比例提升50%。他就去收集想法,然后每个人都会有想法,我要在这里改一个文案,我要改一个颜色等等,它就把这些试验的想法进行排序。最终排了一个性价比最高的,就是改一个文案,因为这个开发的资源很少,很简单就可以测试。测试出来的话,大家可以看一下,最初的文案到最佳试验组的文案,我给大家读一下看有什么感觉,最初的文案是你愿意开通每周5美元的定期投资吗?有什么感觉,并没有什么强烈的感觉,就跟在路上先生需要健身吗,一个道理,没什么区别。大家看到都不愿意理。经过十几组文案的对比,最终选出这组的文案,如果你每周存入5美元,5年后仅本金就可以积累2600美元,从今天开始每周投资5美元吧。也许对于现在的我来说也许是一包烟,但是2600美元是很大的一笔钱。5美元改成了10美元,把相应都换了一下,5美元10美元都去测过,结果这个按钮的点击其中是最高的,相比原始版本提升接近200%。这是它做了第一步,我要提升用户的留存,聚焦到定投的领域,最终做了一个文案的修改,带来了大幅的转换提升。第一步做完了之后完了吗?没有完。

他们进行了第二个试验,把定期投资这一步提前了,原来是在三级页面,提到二级页面,这一步提前了之后,顶级投资的转换率又提升了已被,你放到最前面,它的重要性是越高的,从用户的体验上来说。也就是说仅仅花一个月的时间,两个试验耗费了工程师10个小时的时间,投资率达到了原来的数倍之多,这是非常经典的案例。但是到这里还没有完。

接下来他们有了前两个试验之后,他们会有一个总结,把积少成多的结果呈现给用户的时候,能够说服他们的定期投资。他们又去括取其他的团队了,比如给更改应用商店的文案,Facebook来源用户着陆页的文案和设计,从这一个领域去聚焦,不断去发散。大家都可以知道,现在国内,特别是这段时间,近一两年,都有一些产品,比如说抖音,这怎么做下来呢?其实他们也就是通过聚焦某一个领域,然后把这一个领域做到极致。实际上我们在做增长的时候也是一样的,确定你要聚焦的领域,然后再不断针对这个领域去做完善,以试验来驱动你的产品的迭代,不断去找到用户体验感最好的那一个方式,然后带来十足的增长。

所以这个地方通过这个案例,我想去做一个总结,试验驱动增长的模型是怎么来做的,首先提出假设,就是我们前面讲的AB设计的时候有一个很关键的点,科学合理的设计,我提提出正常合理的假设。这个地方我文案换一下,或者价格展示,提出这个假设之后,然后再去进行计划的排期,就会从性价比上来讲你的开发量,这个试验做完之后影响有多大,的包括第三个,它需要多长时间来测试等等,排完序就去运行试验,再从试验的结果就可以获得数据的结果,告诉你你要跑的两个版本,哪一个版本你要关注的指标是更好的。然后去做数据分析、用户行为的分析,这一轮就走完了。你就可以把你好的版本上线上去,再继续提出假设,你可以针对这个地方去提出假设,也可以针对其他的方向。

在现在在国际上这些做得比较前列的公司,每时每刻都有很多的试验在跑,包括现在像国内,大家知道携程、美团、今日头条等等这些APP,他们其实都有一个死规定,所有的功能点不通过AB测试都是不让上线的。这个地方试验驱动增长的模型是这样的。

在这里跟大家简单提一下,在这个试验流程里面我们需要注意的几个要素,第一个试验的目的,要提升用户的留存,第二你针对这个目的,去提出一些假设,比如说我假设做了这个动作之后会不会提升用户的留存,然后这个假设再去做出试验的测试方案,到底有几个板块,A、B、C三个版本还是4个板块,然后再去设定一个试验的周期,大概我这个流量需要跑多长时间,是一个周一个两个周,还是一个月。完了之后你再去确定采样的范围,你需要让什么样的人进入试验。最后一步就是去调配流量,当你一切都准备好了之后去流配流量。就是这几个步骤。

这个地方就是我前面讲的主要结合Acorns的案例,首先你确定你的目标,然后你提出假设,然后再去建立试验,再去分析解读试验的结构,再去指导你的实践,不断这样去循环。

这个地方我今天跟大家分享的前面基本都分享到这里,试验业务增长模式的探究。

我们公司是在2014年1月份成立的,也是最先去做AB测试的云服务提供商,我们的愿景是希望以试验驱动增长的方式带给国内的企业,同时我们提供科学高效的互联网试验平台,然后去帮助我们的客户把试验驱动业务增长的方式增长过来。

883 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。