深夜产品课堂丨4个源于实战的黑客增长经典案例(吆喝和他的小伙伴篇)

扫描文末二维码关注“吆喝科技”回复“深夜课堂”获得学习资料

上周四,由吆喝科技、达尔文实验室主办的线下活动《增长那些事儿-产品运营系统沙龙》在上海朗盛科创中心顺利举行,活动收到了广大粉丝的热烈支持,也许是本年度唯一一个可以开到深夜的产品运营分享会了,感谢大家。这次活动得到过了国内一线互联网品牌人人都是产品经理、墨刀、极光以及增长黑盒的大力支持。吆喝科技是是大家的老朋友,是国内领先的A/B测试云服务平台,而新朋友达尔文实验室是吆喝科技自家旗下的一个子品牌,是一个牛人汇集的平台,目前正在牛人招聘中,欢迎各路大咖加入。

我们很荣幸地邀请到了4位嘉宾,他们分别是春秋航空电商事业部运营总监朱向、贝壳金控互联网运营副总裁唐彦峰、公众号《增长黑盒》创始人张希伦、吆喝科技VP 柏利锋。今天,先让我们一起回顾下吆喝科技VP柏利锋的金句吧!%e5%be%ae%e4%bf%a1%e5%9b%be%e7%89%87_20180513162447

今天我讲的东西,朱总已经把结论性的东西告诉大家了,我们看到春秋航空这样从规模、品牌上认为不是很光线的航空公司,如果在航空公司圈子里问一下的化,春秋公司是所有航空公司的模仿对象。正式讲之前我刚才在手机上看一条新闻,我问大家一个问题,在座有没有做广告投放或者跟广告运营相关的东西?有的话可以举手。我看多有一句话说,以前用图片的时候,我随手拿手机拍的图片和摄影师拍的图片投放在广告中哪个会更好?

%e5%90%86%e5%96%9d%e7%af%87

要看渠道了,不同的渠道层次会不一样,比如说在微信投的广告和论坛投的广告就不一样,手机拍的会更生活化一些、更真实一些,更贴近用户,能更快使客户进行感同身受。如果买一些图片的话整体质感会非常好。所以一定看你的推广渠道,你是做品宣还是什么的不一样。

近两年里大概有一半以上比例,甚至70%左右手机端拍出来的照片比摄影师拍出来用得效果更好,我听起来很惊异,今天讲增长这些事儿的时候可能会用到这些方面。我们下面一个小字讲的实验驱动增长。第二个问题就来了,可能在座很多人你们听到,我们大多数岗位上都听到过数据驱动,但是提实验驱动增长得不多,希望我们的分享给大家带来不同的思考,我在数据驱动当中有大趋势、大方法,如何操作呢?落到可执行、可操作方面还需要进行研究。

这是一个互联网从2015年、2016年的普遍现象,大家共识增量的流量基本没有了,我们现在一次点击的成本大概十几块、二十块,一个APP下载成本三到四百块,这么高的成本再套过去粗放型的运营实现产品的增长,这样的机会已经不在了,我们也做不到了。现阶段我们怎么做呢?大多数人说我们进入了互联网的后半场。这里讲得很多经验是在硅谷等国外市场上被验证了,尤其像北外、欧洲人口红利并不是那么多的国际,他的互联网出来之后就是我们的下半场了。还有就是前面朱总讲的一个航空公司在APP上玩音频、视频、直播等为什么呢?现在流量特征变成了社交、社群、娱乐特征非常明显,只有这些地方在现在这个时间点聚集一些有效的人群。

%e6%b5%81%e9%87%8f%e7%89%b9%e5%be%81

还有一些就是现在所讲的新零售也好,把线下和线上的团队结合在一起去运营。另外就是近两年像微信小程序、朋友圈广告等。今年1月份到3月份小程序排名前一百名的还是原来APP的巨头,但是四月份的时候有三分之一是新物种。也就是说微信小程序的生态成为必争流量的阵地。而这些用户呢?都是90后、00后这些人,我们基本上都是“互联网原住民”,以自我为中心,简单等等。要抓住这些人很简单的,这些人想互动要做两件事,第一,他到你这来是因为内容来的,第二件事你体验好留下的,只做一件的话你都没有办法留住你的用户,所以用内容吸引客户,用体验留下客户,这些都不去讲了,为了留住人春秋航空做的小视频和直播。

我们酒店也做了IP,甚至前两天看到日本一家做零售的也在做酒店,线下线上融合跨界成为更吸引用户的手段。这么多路、这么多方向每个人都在服务自己的产业,这些产业都适合我自己做吗?从哪条路上找到给我带来价值的方向?也就是我的长板是什么?短板是什么?怎么找到它?要是所有事情都干那你的成本、精力都投入了也不一定活得很好,可能自己把自己耗死。所以方向是什么呢?产品、运营、营销不在有明显的界限,全员营销、全产品。还有就是精细化运营、多聚焦点运营,怎么用力?线上产品不同的阶段不一样,发力的方向只有两个,一个就是如何拥有你的产品,如何做好产品运营。

细分了一下,比如说你的产品相当于你的颜值,你长得好不好看?如何做得有效呢?一些知名互联网巨头帮我们总结了很好的规律,无非就是让内容吸引用户、让体验转化用户,这个事也就是所谓的增长。我有一页PPT给大家汇报一下,今天晚上来讲的代替人,也就是我们CEO他们总结的八句话,有人可能听过,也就是这个轮子背后的。

%e5%88%9a%e6%89%8d%e6%8a%8a%e8%bf%99%e4%b8%aa%e8%bd%ae%e5%ad%90

  • 第一,做增长之前最少做到PMF,也就是产品市场匹配,你的产品没有一千人、两百人愿意为你买单的话,你做这件事没有意义;
  • 第二,你做大事的话,一个战略方向,一个直播、一个玩法,你的区别是什么地方呢?从小事开始做起才能做出跟别人的区别;
  • 第三,做自己的广告,不做AB测试的话找不到自己的方向;
  • 第四,要把80%的时间和精力投放在有效的事情上,不要去改变这个短板,短板是找不到的,只要找到长板就能成功了;
  • 第五,数据驱动;
  • 第六,实践文化,我们一定要通过消费者在我们场景里,流量数据里去分析,然后找到一些问题,提出希望解决一些问题的假设,在假设的前提下做多种方案解决这个问题,然后把多种方案里挑出有效解决问题的方法,再去下一轮的分析、找问题、做假设。另外我们的网站、公司运营最大的问题是哪里呢?是像今天开会一样,希望激发你们的兴趣注册申请成为我的现在客户,我的网站转化就是从第一步到第二步,转化非常差,我两年来一直在做这样的事,这是数据告诉我的,也就是说用数据找到问题,数据只能告诉我问题。
  • %e5%88%b0%e5%ba%95%e6%8f%90%e5%8d%87%e5%a4%9a%e5%b0%91

我们自己认为说只有运行实验这一个点是可以真正产生向前发展的一个动力,也就是真正能够解决我的方法其实是有效的,讲了这么多就绕了一个大圈子,回到我们的A/B测试。

AB测试本质上是分离式的组建实验,它是预测型的结与“后验”的归纳性结论差别巨大,是通过科学的实验设计、采样样本的代表性、流量分割,重要的是小流量测试来获得代表性的结论,并保证结论推广全部流量时可信,意思就是说试图解决一个问题的时候方案和方法有很多种,可不做A/B测试大家就是随便定下一个方案,再上线的时候发现70%采取的行动,对当时解决的问题并没有产生多少好的作用,所以说这个时候可以把你多个方案都架构到线上,每一个方案分成小量人群,让消费者告诉我这几个方案里他们之间的对比差异是什么?从中找到最好的方案,然后再去把最好的方案推广给全部人群用,推广给所有人群的时候,这个指标一定是比原来优化,比原来好的,不好的时候是小流量测出来了,后面的例子都是蛮简单的。

这是我们服务部滴滴早期的时候,有时候是在今日头条投招募司机的广告,最右手这边是他们运营团队广告公司设计出来非常接近于Uber风格的页面,就是图片配上一个CTM。右边是上线前运营团队觉得完全不同风格的东西对用户有影响,最后就是说我需要一个驾驶证,大家举手说他们线上广告里有70%人群会看到第一个画面,有15%的人群会看到后面两个画面。一星期之后A/B测试告诉他哪个转化率更高。最后一个比第一个高了将近20%,正式大面积推广的时候上了最后一个落地页面,这次广告活动我们一起测算过,每招募一个专车司机广告成本大概是240多块,最后一个页面转化率比较高,不光是测了一个CTM,最后成为专车司机申请的指标也测了,最后一个页面是八十多块,差了将近三百,如果不去测的话就把60%的广告费打水漂了。

%e8%bd%ac%e5%8c%96%e7%8e%87%e6%8f%90%e5%8d%87

再来看一下新老媒体在AB测试方面的尝试:左边的是NETFLIX,他们实际上长期在做这一块,我们同时看一个片子结尾的时候我们看见推荐策略一定是不一样的,有可能是题材、战争、爱情等等。同时NETFLIX每天有几十种的推荐方案,同时一个月要产生的收入指标是5%,在我正常的收入之下要额外挣5%的钱。右边是我们的一个非常古老传统的企业叫《参考消息》,他们的主编有一次出差参加了重要的会议,就是《华盛顿日报》,每一次点击最高的算法去承载最大的流量。这里还有一个,不知道在座的有没有注意到,比如说你是产品经理,你在客户续费的时候你会选哪种?你的目标就是优化下定单?你知道哪种会给你带来更多的订单和收入吗?如果不行的话就测试,我后边的指标没有放,因为它是不对外讲的。

netfix

总结下来谷歌团队,他们每个月A/B测试会跑到上百亿的规模,从而产生营收里的2%,大概十亿的规模。像微软的Bing搜索团队,他们的职责和权利范围在搜索引擎文字的颜色,他们颜色是不一样的,他们的指标有一个月做到一千万美金的收入。为什么要时候从小的事情做才能做到呢?裂变式营销是非常好的手段,鼓励你的朋友圈、鼓励你的同事们去分享,什么东西可以带来更多的分享呢?

第一个就是我伙伴的追书神器,他们在上线一个微信分享图标的时候也搞了大量的A/B测试,这个分享图标的实验是在安卓平台上做的,最左手是他们上一个版本做的指标,后三个是他们尝试去验证的。他们最后选了第三个图标,流量运营都没变的时候就是比第一个分享多出了20%多,像这样的数据不测试的话不可能知道它带来这么多的影响和变化。

%e8%bf%bd%e4%b9%a6%e7%a5%9e%e5%99%a8

再讲一个例子,摩拜引入腾讯投资后,有段时间打开摩拜单车的时候地图有的版本是用腾讯地图替换了高德地图,替换的指标是搜集车还有刷新。最后其实这个结论下来之后,腾讯和高德地图并没有特别大的区别,作为摩拜的团队意思就是说别让我费劲去换你们的地图了,当然他们觉得有一项指标有差异,最终还是换了地图。地图对这个APP来讲就是中枢神经,它的工程量和复杂度是非常大的如果你花了一个月的时间,最后这个指标没什么贡献那还不如不做。

%e6%91%a9%e6%8b%9c

到今天为止,我后面就是做一点点广告,A/B测试不是今日头条、携程的广告了,想做好它不容易,里面有很大的坑,就是怎么样保证我想要的用户测出来的结论推送是正确的,所以你的流量、你的用户要有合理的代表性,今天有了A/B的工具我们就可以干这样的事,甚至我们今天可以做到可视化的编辑,就像滴滴第一个案例,比如说要去换掉这个图片和图像的文字,甚至改掉CDM的形态,原先没有我们的时候,需要编辑的同学需要重新设计,但是今天有了我们,他们的运营人员可以不用在技术人员参与的情况下就直接换掉了,就是用A/B拿原来的APP换过去,改变你的原来入口菜单等等,这样会把你的效率提升得很高,你可以做大量的实验找到你的增长点。

这样的方法,在全世界上很多互联网巨头都做成了企业制度,像Google他们鼓励创新今天提出了这样的解决目标,他允许你分离出一部分流量做实验,拿出好的结论再去汇报管理层批准。

再看一些明星公司的总结吧。Booking去年讲的企业常常理所当然假设客户想要什么,并根据这样的假设来设计和迭代自己的产品,结果被屡屡证明是无效的,所以市场竞争比较激烈的情况下,我们不能再依赖自己的专业直觉了,而是用数据和结论告诉你哪个是对的。第二个更有意思了,它讲日常生活当中所有的事情,每一个人在想一个方法采取行动改善自己以前不能实现,或者达不到的一些目标时,他们总结是说60%到90%的想法以落地执行了,但是最后真没有改善,这是总结的规律,不光是互联网产品,生活中也是这样的规律,你不去测怎么能抓到剩下10%到40%有效的动作呢?而且成本很高。

booking

像一个例子,我们的客户他们是产品体验在手机上一个指纹识别的功能,前前后后上了三次,每次上去都是因为各种各样的Bug错误被下线。后来发现微信推一个新功能是通过小流量逐渐测试稳定之后上线的,现在也有传统企业慢慢在接受运作方法了。Booking的负责人去年在Google大会上讲我们通过做流量测试做到了行业转化率两到三倍左右。Booking是数据为王,但是数据太慢了,我们希望找到产生摩擦和动力的实验网,如果能测最好测一下,再专业的选手也不要凭经验,实验给你带到哪里你就在哪里。

我的分享结束了,这是我们的公众号,上面经常推一些好玩的玩法、实验场景以及一些方案,比如说刚才讲的墨迹天气,我们拿到了另外一个体育的订单号,但是他们做的结论完全是相反的,所以你的同行、竞争对手的经验还是一个方向。对不对还是要看你的实验,谢谢大家。

%e5%90%86%e5%96%9d%e4%ba%8c%e7%bb%b4%e7%a0%81

2244 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。