实录:一场改变未来互联网产品走向的分享会

2017年12月9日下午,由吆喝科技主办的大型线下分享活动——互联网时代的超级英雄,在北京市东城区东方美爵酒店大宴会厅顺利举行。本次线下私享会聚焦“数据驱动”,针对泛互联网行业普遍关心且困惑的产品优化和增长问题,我们邀请到了PMCAFF创始人阿德老师、墨刀增长负责人杨过过、墨迹天气产品负责人向超群、吆喝科技创始人王晔博士四位数据增长大咖,为500多位现场和直播观众破解增长的谜题,帮助大家重新A/B测试、产品优化和用户增长以及职业规划。不论是否已经在现场倾听了这场发布会,下面这篇实录值得每一位产品经理、运营、市场、设计等人员收藏与思考。

杨过过:从零到一打造自增长型产品

主持人:首先请第一位来分享的大咖,来自墨刀增长负责人杨过过老师。

杨过过:非常感谢吆喝科技的邀请,我叫杨过过,我现在是墨刀增长负责人,我今天想跟大家一起探讨的主题是“从零到一打造自增长型产品”。

我觉得增长这两个字这两年被推向神坛,其实,我有点讨厌增长这个词。大家不妨回想一下增长的定义,增长有各种各样的方法,用各种各样的方法让你产品的数据得到一些提升,其实你想想这个定义,我们之前的产品经理,我们之前的销售,我们之前的运营人员,市场人员做的事情就是这个事情。可为什么提出增长这个词呢?我认为在互联网红利逐渐消失的过程中,我们把增长看的越来越重,这个时候需要一个角色,一个岗位把增长这个职务承担下来,因为他可能会覆盖到产品、运营等各方面,我们需要一个岗位承接下来。

8931513130939_-pic_hd

我认为增长这个词不是一个新概念了,也不需要推的那么神,我是增长负责人,我对增长负责,怎么增长都听我的,其实不是,我是对增长的结果负责,你是产品经理是对产品负责,怎么做产品都是听你的吗?其实不是,你对产品做出来的结果负责,你产品上线一个用户不满意第一个diss的就是你。

其实产品和增长很多时候并不是一个惺惺相惜的关系,今天为什么想跟产品经理或者说其他人一起来聊增长呢?今天的主题会围绕三个方面:

  • 一是为什么产品设计师需要懂增长;
  • 二是从用户端产品经理到商业化产品经理;
  • 三是墨刀的自增长之路。

墨刀是一个产品经理用的PS,用他来绘圆形图,我们是一个工具型的产品。今天的关键词有三个,一个是增长,一个数据化思维,还有一个商业化,都是为商业价值服务。这是一个增长的定义,我觉得大家都不会陌生。

为什么我认为产品设计师需要懂增长,大家看这四个公司,大家在脑子里面猜一下,这四个公司里面哪一个角色或者哪一个岗位的话语权最高?百度大家应该都知道,话语权最高的是他们的技术,墨刀公司话语权最高的是产品经理,什么值得买话语权最高是运营人员,聚美优品话语权最高的是做渠道的人员。

%e5%b9%bb%e7%81%af%e7%89%8706

不同商业模式的公司,不同职业的话语权差异

我们看一个岗位话语权主要看两个东西,这是三个比较常见的商业模式,第一种是大家很熟悉的淘宝,包括O2O,美团,其实都是第一种,直接出售商品或者服务的商业模式,这种商业模式有一个特点,大家想一想我们百团大战的时候,三个外卖软件打的非常厉害的时候,我有三个外卖软件,每到饭点我就轮流看哪个优惠最多,这一类产品用户忠诚度是没有的,这一类产品一般是以渠道为核心,怎么样能够让更多的人使用,怎么样能够跟他的渠道商,跟供应商做合作,能够拿到更低的渠道价。

第二种产品是通过提供软件服务的商业模式,我们这种产品有一个特点,比如我说今天来参加活动的人所有购买墨刀一折,会不会所有人都会购买,其实不会。像这一类产品,我们的特点用户真的觉得这个产品有价值,真的觉得这个产品给他提供的价值,认可这个产品的价值才会为这个产品付费,吆喝科技也是这样的,你需要让用户了解你的价值,认可你的价值,用户才会付费,所以我说为什么我们的产品经理话语权最高,我们的核心就是产品,核心就是卖产品本身。第三个不细说的,他们的核心是运营。

除了内部的因素,我觉得还需要关注外部的因素,你的市场容量将会决定你的市场天花板,你的竞争状况还会决定你的增长阻力,这也就是为什么百度的技术话语权那么高的原因——搜索是一个技术含量非常高的事情,国内这么多的公司试图染指搜索领域,百度依然能够在搜索市场上占有那么高的市场份额——就是因为人家技术牛,这说明是百度的竞争状况决定公司技术有比较高的话语权

为什么说很多商业的东西,如果你不懂你的产品商业逻辑,那你可能也不太懂你的用户,因为你的用户为你的商业逻辑买单,我们做事情的时候不要看自己的KPI,我们要更关注公司增长的点,如果你要去看自己的KPI跟公司的核心目标是不是有很强的相关性,在这个基础上再去做你的KPI增长,其实不断增长的营收才是老板最关心的点

这是我们看到的趋势,大家也可以感受到每一年都有非常多的学弟学妹找到你问产品经理怎么样,产品经理这个岗位很多人都想进去,毕竟一毕业就当经理,岗位也是很多人梦寐以求的,我们发现产品经理整个市场其实是逐渐在饱和的。

不停的会有很多人涌入到产品这个坑里,这个时候会有优胜劣汰,这个时候我们会发现什么样的产品经理是稀缺的,我举个例子,比如说我把一个app给一个产品经理,我问他有什么可以优化的地方,这个产品经理可以给我写一个十页的产品文档没有问题。当我问他怎么把app进行变现,怎么在不伤害用户体验的情况下进行变现,怎么持续性的变现,其实很多产品经理是懵圈的,这一类产品经理是现在非常稀缺的,怎么实现公司的商业化发展,怎么对公司的核心价值进行变现的产品经理是非常稀缺的,我相信在座也有一些做商业化,或者即将转方向做商业化,都是非常有潜力的。(编者按:产品经理要学会像CEO一样思考公司战略并将其落实到产品实践中)

增长思维或者说数据化思维,能够在你的工作中有什么样的帮助呢?

一个是刚刚我说到的驱动产品的商业变现,如果你只是做用户端的产品经理,你可以去用数据化的思维挖掘用户的需求,并且最重要的一点数据支撑能为你赢得比较重大的话语权。

从用户角度来看是非常无力的,你觉得这个功能还没上线就说用户角度,是不是特别没有说服力,其实你的数据化思维会非常能够帮助你去赢得话语权,并且你在团队里会显得是一个很专业的人,之后也会有更多的资源倾向于你,这是我们比较常见的做运维的两个思维,一个是微观思维,一个是宏观思维,微观思维更多关注个人,宏观思维着眼市场,你可能会更关注市场的报告,关注一些市场的情况,关注大数据的情况,这个(编者按:宏观思维)主要是用于数据驱动,微观思维主要用于体验设计和服务设计。

这是我们用微观思维挖掘用户需求的思路,用户一般不会直接给你提需求,他以为的需求都是解决方案,怎么说呢?之前我跟一个用户吃饭的时候,他跟我讲他说墨刀能不能增加一个曲线功能,我们目前没有曲线功能,只有直线功能,他提了这样一个需求。我问他想用这个干什么,他说想用一个圆角矩形,其实我们本身有,但是他没有找到,他以为通过一个曲线可以解决真实的需求,其实他提的是一个解决方案,而不是真实的需求。

如果在用户给你提需求的时候,你按照他的做肯定是被他带坑里,我们用微观思维挖掘用户的需求,先得到一个解决方案就是用户的需求,我们可以叫解决方案,通过这个解决方案挖掘真正的需求,再同这个需求推导出不同的解决方案,再去衡量这些解决方案什么样比较适合我们,最后做出一个选择。

这是宏观思维挖掘用户需求的思路,一般我们在工作中都是一起使用的,一般就是我们要通过用户的实际生活故事来绘制用户的画像,然后再通过行为数据不断修正我们的画像,再通过他们的行为数据推导出行为目的,最后通过行为目的推导他的需求,最后再创造全新的服务体验。

前面说了一些理论,我想聊一下墨刀完成去年500%业务增长背后的方法论,其实这个也不是我们按方法论做一些事情,很多时候不断的实验,最终发现这样做比较可行,最后付款的时候才总结出来,我总结出了六个关键步骤

今天我不想提很多关于增长技巧的事情,增长技巧大家可以想一想,之前看过很多书里面提到分享按钮,怎么样在邮箱下面做一个链接做黑客式增长,我认为在分享这些技巧没有什么意义,每一个增长技巧都有他的生命周期,你刚刚发现的时候这个技巧有很好的效果,再完善它,会有更好的效果,但问题是逐渐会成为套路,因为你的友商,你身边那么多人会看到这些技巧,就会成为套路,就没有什么效果了,其实大家出来分享的时候它已经成为套路,或者标配的时候,我不可能把很有效的方法公之于众,我认为这个没有特别大意义。

今天想跟大家聊一下思路上的事情,这是几个问题,我每天问自己的一些问题,大家看到这些问题可能都觉得,这不是应该CEO或者什么人关注的吗,跟我目前的KPI不是特别相符,其实大家做产品的时候会发现我们做产品人会发现,不同的产品部,不同的产品线话语权是不一样的,资源也是不一样的,其实这都跟你的KPI或者核心业务有关,如果你没帮公司完成这些问题,或者你的KPI没有在营收上有很大的帮助,或者说你所在的产品线在你们公司的整体营收中占比是下滑的,那你就要非常小心,不仅仅是公司本身需要有危机感,可能我们明天就死了,这种创业公司就会有这种危机感,个人也要有危机感,很有可能你过一段时候你的产品线就被边缘化了,你要保持很敏锐的嗅觉。

%e5%b9%bb%e7%81%af%e7%89%8715 %e5%b9%bb%e7%81%af%e7%89%8718

产品经理每天都需要思考的几个问题

我们回到方法论,第一点我认为是需要明确你的商业模式和目标,你需要看到怎么样的增长是良性的,是符合商业目标的增长,比如说吆喝科技,他们一个2B的公司,肯定不会去看注册用户啊,注册用户有多少,就算注册用户有几十万,上百万,对真正的商业目标不是一定会有非常,当然也是正相关,但是不会花钱买非常多的用户,你需要明确你的商业模式和外界因素,制定你到底应该增长什么。

第二点是你需要明确你的关键数据,你要增长的核心数据是什么。这个是之前京伟列出来的一些saas公司的数据,红点标的是产品经理比较关注的点,但是也不要觉得CEO才应该关注的点,我们每个人都应该关注,这个时候你才能够站在一个比较高的高度上看待你所处的工作和工作环境。

%e5%b9%bb%e7%81%af%e7%89%8721

第三点是你需要做目标数据的拆解,非常多的工具在帮助你做一些数据的拆解工作,漏斗流量,这些其实都是比较常规的拆解方式,稍微列了一下墨刀拆解流量,拆解用户的分层。

前面说的三个都是准备工作,你在去定位问题之前的准备工作,你需要去明确你的增长点,你需要明确你的数据到底是有哪些,你根据自己的数据去做一些增长的工作。

第四点是需要定位问题,这个是墨刀之前做的,我刚刚说微观视角和宏观视角看到的用户付费心理这个图可以拿来做什么呢?我们需要做一个拆解,因为省时,提升效率的人用墨刀付费的时候,我们产品的关注点应该是如何让用户更快的完成一个作品。

但是我们也会面临一些问题,如果现场有使用过墨刀的人可以知道,其实墨刀现在已经是一个比较庞大的产品了,他可以满足产品设计师在制作原形,包括产品文档,标注,很多需求。我们其实内部也是分成了三条产品线,因为我们功能越来越强大,这个时候我们的界面就越来越不简洁,大家可以想一想,功能区总共那么大,按钮怎么放也得放,如果界面简洁很快能够做好,毕竟完不成特别多的工作,比如说你把PS和美图秀秀放一起就会感觉到有矛盾,我们需要做一个矛盾的调和

我们提出了非常多的解决方案,我列出了三个,跟大家举个例子,参考一下:

第一个解决方案是做规划,我们还要完善模板库,大家有使用墨刀的会知道我们给行业提供了非常多的模板,比如说支付宝、微信,这些APP画好的圆形,你可以直接调用这些模板,用这些模板的界面或者逻辑完成自己的产品。我们想是不是我们更去完善我们的模板库,让我们的模板库变得更加覆盖更多的行业,是不是就可以帮助我们产品设计师更快的完成一个产品呢?

第二是优化我们的组件库,比如说您做一个APP我们有很多的组件,比如说按钮、直线、方形、圆形,我们叫组件,如果我们把一些常用的组件优化一下,组合一下,比如说以前一个弹出的弹窗,我们需要有文字,还有一个背景色,我们是不是可以做一个组合,把这个当做我们的组件,产品设计师就可以直接拖过来用,这个也可以提升效率。

第三个是更改我们工作区的布局,我们工作区是不是目前大家做起来的时候有一些反人类的地方,觉得很不好用的地方,我们把布局修改一下,就能够让我们的产品有更好的体验。当时我们提出了很多的解决方案,这是其中的三个,我们在这些解决方案中衡量性价比,投入资源和所获收益的性价比。

这是之前提出的创业项目创新性的东西,你的创业项目必须落在三个圆的交差点,你必须有用户渴求,也有商业可持续性,也有有技术可行性,我们也可以通过这个模式衡量一下到底我们的需求,这个改版应不应该改。

%e5%b9%bb%e7%81%af%e7%89%8725

需求、技术和商业可持续性的关系

接下来是一个解决方案的策划与执行,如果有墨刀的用户,大家应该知道我们在9月份的时候上了一个新功能,叫做平台组件库,其实我们用了第二个方案,我们把苹果 iOS 的一些组件组合化,左边这一些,大家可以有开关,有模板,有弹窗,有键盘,都是按照苹果的设计规范,安卓的设计规范画了一些组件,采用这个方式提升我们用户的使用效率,从而提升我们的付费。

我们刚刚说到的这些,包括已经执行的东西,其实都是我们的猜想,我们猜想用户应该是有这样的需求,我们猜想这样能够满足用户的需求,都是我们的推导,到底是不是,到底我们的推导结论是不是正确,其实我们需要做一个测试与验证。

这个应该是我们下一位讲师给我们更深的印象,我就不需要班门弄斧了。(编者按:吆喝科技王晔博士会专门讲解如何通过试验来驱动产品决策)

我们回顾了一下迭代,我们发现我们有三点做的还比较好,当然也有很多不足。我认为可以跟大家一起分享,让大家能够借鉴的。第一点是我们的定位,大家可以看到从刚刚一上线开始我们的定位,一直在改变,2011年墨刀第一个版本出来的时候我们的定位是这个,这个群体只是IOS的产品经理或者是设计师,2015年重新做了一个定位,我们做的是一站式的原型设计工具。接下来我们的定位是产品设计师的原型协同工具,到现在我们的定位是设计团队的原型管理平台。

大家可以这个是刚刚说的市场的容量情况,在我们的例子里面,我们是一个非常窄的应用,我们的例子里面,我们在不断的试图扩展我们的市场上线,因为你有了更高的天花板,才有更多的增长空间,其实这个都是跟我们自己的数据增长是相辅相成的。

%e5%b9%bb%e7%81%af%e7%89%8732

墨刀用户增长曲线

大家可以看到一个很丑的数据,2011年-2014年是停的,我可以跟大家分享一个小八卦,墨刀死过一次,当时2011年康泰尔做墨刀的时候,2011年我用的还是一个功能机,还没有用智能机,那个时候很多的运营商给了很多方案,你冲12个月送你一个手机,大家想一想2011年的情况,那个时候其实就是智能手机并不像现在那么普遍,所以你在那个时候做一个IOS的设计软件,注定要死,首先没有那么多的设备,没有那么多智能机用户肯定就没有用户服务的公司,那你为这些公司服务肯定要死,所以当时2011年做出来以后墨刀做了一年,发现这个钱不能够维持正常生活,后来放弃了。

放弃以后直到2014年,2014年是一个转折点,很多互联网的企业都是在那个时候爆发的,2014年当时我们的创始人的朋友问他墨刀是你做的吗?没看见更新啊,我好几个朋友都在用,怎么不更新啦,这个时候他才发现墨刀还可以做。那个时候才把墨刀做起来,墨刀成长到现在这样,虽然这个数据也不算一个非常漂亮的用户,特别是在我们的BAT用户,他们都是上百万,上千万用户的面前,我们的数据肯定不算很漂亮的数据,但是还是慢慢的成长起来。

这个地方很丑,但是我觉得对大家还是挺有纪念意义的。

第二个是以增长为目标的产品优化。第三点是不断的测试与验证,你不能拍脑袋,不要说你认为用户需求是那样就是那样了,当你的想法投入真实的产品,并且看到用户的反馈,百知道这到底是不是他真实的需求。

这是我给大家整理的学习资料,可以回复自增长获取,今天我的分享就到这里。

王晔:增长背后的超级引擎

主持人:谢谢,非常精彩,讲了好多关于墨刀的东西,我准备下载一个用用了,再次感谢。开始今天第二段分享,来自吆喝科技创始人及CEO王晔,掌声有请王晔。

王晔:大家好,感谢大家来参加我们的活动,真是非常难得的,来之前我和主持人元宝说,我们的活动不是特别商业化或者特别高大上的,我们希望接地气,希望好玩,大家能够玩起来,我觉得咱们这些超级英雄,增长黑客才是公司真正的营收,商务也是必要的一部分,但是真正动脑子才是最棒的人。

插图:王晔博士

我今天跟大家讲的东西更接地气一点,就是讲一些招式。我还是回顾一下定义,总得来点定义,产品是价值创造,增长是让更多用户更便捷,更频繁的体验到产品的核心价值,这件事情说白了是为用户造福的角度讲。其实正面的角度是对的,我们增长黑客总结了八条,课今天基本上就讲这八条,第一条产品和市场的契合。第二点是想搞大事情,但是要从小处开始。第三是你如果不做一个测试,这事肯定转不了。用80%的时间对有效果的事情投入,以数据为驱动,不仅仅是以它做参考。建立一个实验谋划。最后你的第一个增长黑客,黑客是什么,你第一个要hack的是你的产品。

我们一个一个说,第一个是没有达到PMF之前,我们不要说增长,从零到一就是所有的PMF,很重要的是在你产品的最初阶段得到的市场反馈,当你能够看到一些数据显示你的产品确实满足了用户,或者潜在客户的需求你就达到了PMF,然后你就可以开始搞事情。

有一个经验,如果你是2C的产品,你在不做任何特殊的事情,你有一千个陌生的用户,差不多你就是个PMF了。如果你是2B也是一样,如果你有10个陌生的客户愿意为你买单你就可以搞事情了,我们最初要做一些扎实的基础,你得有基础把AB测试接进去,把统计的工具接进去。你也可以把用户的分组、生命周期维护等等这些东西放进去。

最重要的是当你有些早期指标你得关注,确切的发现你确实PMF了,你才可以开始搞事。但是你要搞事情,我们都想搞一个大事,比如说我做了一个事情大家都知道,如果你把(英)推荐你的朋友,每个人可以得到十块钱,这件事一搞(英)好几十倍的增长,我们都想搞这样的事情。实际上这样的事情要发生是非常难的,难在哪里?难在我们要从小的地方发现这个机会,这个机会才可能变大。小的地方就是你要给你的第一个用户一个很好的体验,说不定就可以从中发现搞大事情的方法。

你要搞价值主张,你输出的东西,你告诉用户的东西,用户能够听懂,这件事情也很重要,建立社区让你早期的用户,早期的客户能够形成一个圈子,他们对你的帮助会非常大,当然了你也需要确保正确的数据基础架构到位。

我们知道过去很多老的软件产品,他们的痛点很难统计到准确的数据,没办法享受到后面所说的工具福利,他们只能用传统方法,所以这个也很重要,我们早期要做好这样一个事情,以及建立一个黑客的习惯。

如果你不做AB测试你就死定了,为什么?大家总说我对用户的理解,为什么一定得通过冷冰冰的手段去了解,为什么非要去抓实验数据才行,其实原因就在这里,我们作为供应方,我们作为商家,我们其实对消费者,用户是不理解的,用户真的太厉害了,用户不关心你,他只关心自己,他根本不在乎你做的任何事情,我们只能想办法通过数据的方法真的了解用户的真实想法和需求。

你一定要做一些很痛苦的事情,就是AB测试,从中你能了解他到底喜欢什么,不喜欢什么,增长黑客一定是以用户为先,其实就是一种心态,你听用户以及相信用户的心态。我们可以看两个产品不同的感觉,他产品的迭代或者发布,一个可能是我根据自己的想法,我对自己用户的理解,通过经验,通过传统手段去迭代。有的时候会很好,有的时候不一定很好,他可能就会踏步不前,如果每一次你的产品上线之前先跑一个AB测试,先知道我做的改正确实能够给我们的用户数据带来提升或者下降,下降不上线,只要提升才上线,我们可以保证像蓝线一样往上涨。

这个事情我们有的时候会做错,前面是需要我们改习惯,后面的事情其实不需要我们很痛苦,但是有的时候我们会忘记,很多人都说我们做产品会做这样的事情,会看数据显示我们什么不足,我们去改,这是一个非常傻B的事情,你首先应该看到数据什么地方最吸引人,转化率最高,你看用户到底最喜欢什么,你拼命往上面投资,用户最喜欢这个功能你疯狂做这个功能,如果用户对你的东西不感冒,你还希望通过优化他让用户感冒是不行的。

有的时候你可以和用户聊一聊,他们为什么用你,他们到底喜欢什么东西,如果用户已经有了习惯,进入你的产品最喜欢这么用,就不要试图改变他,让他了解新的流程,这样其实是很傻的。最有效的牵引渠道,如果你去投广告发现有一个渠道特别好,你如果砸进去一块钱产生2块钱就疯狂砸啊,别想其他的,当然你可以花一些时间去测试新方法,这是不拒绝的。

数据是驱动而不是参考,我们有时候工作的时候还是会习惯于传统模式,我觉得通过看竞品,我觉得可以给我带来增长,然后我试图去仿制一下,这样其实效率是比较低的,最好的是用数据帮你做驱动。你通过看现有的数据,无论是你现有的情况,还是你做实验的实验结果,你从中可以发现到底有什么点值得再投入,再下注,然后你可以去尝试,跑实验,让这个事情滚起来。

这个轮子里面调研、分析、行为分析、提出假设,我可以告诉大家特别有用的一个功能叫性格评测,你提了价格假设之后还要跑测试,数据会告诉你他是不是真的能够有效。当然跑实验是最痛苦的,因为你确实要拿出一些流量,比如说10%、5%的流量试试看,这样你肯定会影响到一些用户,这是唯一前进的可能性,所以你必须得做这样的事情。

接下来试验文化,产品+增长就等于一个好的文化,这句话非常好,形成一个试验文化其实就是让大家多创新,鼓励创新,鼓励思考,用科学的方法验证你创新的点,我后面会有一些事例,这是一个理论,说白了很简单,你现在的产品或者运营状态是稳定的,是A版本,你可以根据现有数据做一些什么改进可能能改进,我试试看B版本,C版本,同时上线对比数据给你的结果,说白了就是这样循环往复的过程。

如果说数据是增长的燃料,试验就是引擎。这很简单,要求你从一开始的时候就拿到数据并且根据这个数据去思考怎么发扬光大,从长期的使用来看并不是,像墨刀的增长是这样的一个曲线。

最重要的一点增长黑客到底是什么,最重要的还是你的产品,造一个人们爱的产品可能是最重要的事情,你的黑客最重要的是把你的产品做到用户最喜欢,转化率最高,数据最好,你做这件事的时候让你的核心用户参与到这件事情中来。

前面说的8条是增长黑客总结出来的,大家记住就可以了,这8条里面有很多条跟试验相关,AB测试相关,艾丽斯是增长黑客的创始人,当然他也是很著名的黑客合资,他也投资过脸书这样成功的公司,他说的非常简单,要做增长黑客最重要的就是跑试验,不跑试验多半没有什么产出,增长上的产出。

跑试验而且不是只跑一个试验,十个试验,一百个或者一千个,试验的频次和数量直接决定增长的幅度,黑客之前没有很好的试验工具,所以增长幅度比较慢,其实对很多没有人爱的产品降很快,基本上是这样的曲线。2011年有一个非常强大的AB测试的工具,他2011年之前人工实施试验,每两周才跑一个试验,这也是很正常的。

2011年之后每个星期可以跑十个试验,一个月2个变成了一个月40个,增长幅度一下子就变成了这样子。像艾丽斯自己做的网站叫增长黑客,他也干过类似的事情,他大概在2014年,2015年的时候想做增长黑客的人才会去看看,他后来疯狂的做试验,他后来也开始了疯狂的增长,他大量的跑试验。

实际上AB测试为什么对增长最有效,他有三个特点,总结下来从原理上讲,第一个可以控制风险,我们AB测试工具说白了就是拿出一部分有代表性的用户,通过他的数据和你典型的用户做对比,来判断他是不是有效,说白了是这样的原理和思想。你拿小容量的用户做试验,如果你的试验效果是不好,我们上线的一个评测功能会用户有伤害,也只会被选的用户,不会把一百万用户都影响,你可能只影响一万个用户,可以控制风险,大量做试验不会像我们大胆上线一个东西,赶跑一批用户,再追回来。

第二个是并信息,你可以同时跑十个,一百个试验,可能很多都没用,但是找到有用的,这样效率就提升的,不会说通过一次用户版本迭代,一个星期,一个月才得到一个结论,效率高了很多,一个星期可能得出一百个结论。

第三个试验的结果对你有非常积累的价值,可能一开始对用户和消费者有一个模糊的理解,但是慢慢就可以对他有一个非常深入的理解,这是一个对自身的提高。

典型的增长模型,如果不知道其实就是AARRR,一个漏斗,一个用户的流量进来先是拉新,拉新有一些新的指标,比如说下载安装量,点击量。第二步叫激活,你的用户可能来了,但是不是真的能够成为你的用户,这些可能是第二步的转化。第三步可能是留存,比如说付购,比如说他次日打开,每月打开,最后是收入,这些用户里面肯定有一部分给你贡献商业价值,比如说他愿意点击你的广告,他通过别的形式可以帮你变现。

最后可能是口碑传播,因为漏斗的原因,你发现只要做好最后一件事你就非常牛B了。

所谓增长就是把漏斗的每一层转化率提高,比如说在拉新环节找渠道,比如说找微博上还没有被人发现的大V,广告,内容,电子邮件,EDM的营销。激活往往在你用户的第一次体验非常好,这是第一次转化很重要的点。有很多很有价值的工作都是在这一步做好的,长期使用用户一定是对你挑刺的,他一定觉得你这儿不好,那儿不好,有很多想法,所以你需要一些更系统的方法消化。

变现其实是在付费或者是最终的商业转化中,这里也有很多可以优化的点,都和用户的消费或者是转化的体验非常相关。推荐,如何让你老用户,忠实用户把你传播给更多的人,这里面有很多可以摸索的地方。

增长和试验的关系,刚才说了增长里面最重要的是试验,为什么?我们可以看看增长说白了是一个圈,是一个目标,比如说我们的目标是我们的某一个KPI,如果是我的话我可能定我们的利润,销售额。我们围绕着这个目标我们去分析我们用户行为,怎么才能让他更多买单,或者买更多的单,然后去洞察,根据我们过往数据做试验,跑完试验根据试验结果总结。

你发现在这个环里面,试验直接影响你的决策,你跑了试验发现试验结果跟你想的不一样,我们有很多用户遇到这样的情况,得总结经验和改善,你得先叫停,方向不太对,或者是我们的想法有问题,得改一改。如果试验效果好也是一个很重要的决策,你会发现这个想法是对的,你就会想可不可以做的更好,把大量的时间放在下面的事情上,这个圈转的越来越好。

我们举一个实际的例子,Acorns在欧洲做金融,你可以理解为一个手机app,帮助客户理财,瞄准的是年轻人,首先增长黑客怎么做,首先定一个目标,很简单,提升留存,他会花很多钱买量,让这些用户真正买他的理财,但是最重要的不是买了理财就走了,而是希望他们反反复复的互动,或者说投资,他里面做更多的投资。他确定了一个领域,就是我留存到底用什么指标体现我的留存,或者什么点来优化这个留存。

我们想做的事情就是让用户能够更多做定投,我希望是有一个具体的指标来完成,我就定一个比较宏大的指标,让新用户开通定投的比例提升10%,有了这样的目标我们看要做哪些试验完成,我们试验的想法可以排序,他们有很多想法,有一个想法可能专门讲这个课,就是怎么去排序。

大致跟你的投入产出比和资源、目标,PIE模型,他最后发现有这样一个想法最值得试验,非常简单,给用户强推一个,你下载了我app用了之后就给你推,这样新来的用户就去定期投资了,这个想法非常值得试验,因为性价比最高。

他做了这个试验,非常简单,用户打开了程序之后弹出一个框,定期投资,你愿意开通每周5美元的定期投资吗?这个框毫无疑问转化率并不是太高,接下来把这个框做了一个试验优化,这个其实已经有效果了,但是不是特别好,用户比较烦。他把这个框做了文案上的优化,这个试验效果如何呢?

我们看一看,这是一个他想的试验方案,我除了用这个框之外,还在这个框里跑这样的试验,这个试验对比这两个框到底哪个转化率更高。跑一个试验之后效果非常惊人,定投的转化率提升了80%,仅仅做了一个文案的优化,提升了80%。

这个试验结果非常不错,原来如果我跟用户说你很少的做一点小投资,时间一上你就有一个很大的回报,这件事情很有效果。所以他做了更多事情,首先把这个框推到前面去,转化率又提升了一倍,这两个试验跑了一个月,大概耗费了技术方面10个小时,但是新用户的定投投资率达到了原来的几倍左右,这是一个很典型的增长黑客的成功案例。

接下来还可以更进一步,怎么搞呢?把积少成多的结果呈现给用汇的时候,能够说服他们开始定期投资。这个时候你能不能用到其他领域去,你投脸书的时候,投广告的时候是不是也可以在广告里体现这个内容,你可以增加一个专门的功能让用户感受到这个东西,比如说增长计算机,每天投一块钱,最后有多少钱。

可能他们的团队技术比较牛,包括技术团队,更多时候包括你的拉新,付费,都可以通过这样的方式不断做的更好,就可以产生一个非常快速的增长。

我们有一个客户非常经典,有一次去深圳跟他们交流,叫小恩爱,他们也是做类似的事情,小恩爱是一个情侣之间聊天的工具,还可以控制玩具等等。但是聊天工具下载量转化率不是很高,所以当时想了一个很有意思的文案叫小恩爱可以每天早上把你的情人叫醒的工具,比如说你给你的男朋友定一个闹钟,强迫他7点钟起来给你买饭。

他之后做的事情在所有的事情全部写这个文案,公众号、微信都是这个东西,增长一夜之间火爆全国。

接下来说一下我们客户AB测试测试做增长的案例,可以感受一下,有些增长案例是有点被迫,换句话说公司有一些战略上的要求你去做,通过AB测试的方法来判断怎么做来好,以及做了之后是不是达到公司的目标。比如说我们的客户摩拜单车,他原先的地图不是太好用,高德地图,不符合摩拜的战略,摩拜要用腾讯地图,他换成腾讯地图会不会对他有增长。

其实这个试验用了好多不同腾讯地图的bug,但是最终消化掉了之后,做了AB测试实验数据非常好,核心业务数据没有下降,也没有明显的提升,没有影响用户正常的使用。但是他其他的方面有一些很典型的提升,比如说定位的按钮,刷新的按钮都提升了,为什么?如果他们复盘理解的话,其实新版的地图更扁平,而且线条和颜色更清晰,用户更容易看清楚地图上的按钮,高德地图很不容易看清楚,所以有一个很不错的优化结果。也是在使用我们一年之间发生了非常快速的增长。

这是虎扑体育,也是我们做过很多AB测试帮助他业务增长,比如说你在虎扑看到一个很好玩的贴子你可能有冲动把他分享给朋友。分享的按钮虎扑体育的设计是一个点点点,点开之后可以分享微信或者什么地方,他们也听取很多其他公司的意见,就说用户好像对这个按钮不知道是干什么的,但是如果你用一个苹果公司设计的分享按钮,用户就知道这是做分享的,他就更容易点。稍微用户多分享一下,可能就有更多用户下载虎扑。

这个想法到底对不对得做AB测试,最后发现很有意思,试验结果是悲观的,原始版本比较好,试验版本下降5.36%分享的次数,分享人数也下降了7.37%,而且也说明这个按钮不如原来那个按钮,他们也很纳闷,通过这个试验发现虎扑体育的用户群体跟苹果手机的粉丝不是一波人。

这是我们另外的一个客户,迪奥推广自己的520的产品推广,比如说你同样是营销推广页面,推销三个产品,把三个香水放成左滑右滑的方式,还是瀑布流的页表,他通过AB测试发现瀑布流提升了15%,也还是比较可观的。我以前给谷歌做的实验,提升1%,提升1%就帮谷歌赚50个亿。

衣二三,这也是一个很有意思的客户,他们的商业模式我开始也是不理解的,他们是给女性租衣服的平台,很多女孩子去在上面租衣服。因为他是一个销售额或者是交易额非常大的平台,可能好几亿每年的交易额,所以对他们来说转化率的变化对商业的影响更加敏感,所以他做非常多的AB测试,他去找很细节的变化,会对转化率产生影响。比如说以这个东西,大家很容易体会的到,比如说完完全全同样的营销页,邀请朋友的常见手段,邀请朋友可以得到50块钱代金券,好友还可以领取200块钱的代金券。

他就有很多点可以做测试,或者把这个图换一换,这个实验非常简单,立即要求好姐妹,这个实验结果大概提升了58%,你们可以理解一下子翻了一小半。有时候你不做试验,你不做增长黑客,有一些很小的工作可以带来这么大的效率,这个事情经常发生。

我们官方最近也在做试验,我们做按钮文案,改了之后下降一半的转化率,我们赶紧停了。

鼓励大家如果想做增长黑客,打造超级引擎,就从第一个AB测试开始,如果大家有兴趣了解更多,可以关注我们的二维码,谢谢大家。

%e5%ae%98%e6%96%b9%e4%ba%8c%e7%bb%b4%e7%a0%81

一个PM的的自我修养

主持人:很棒,对这几个案例非常感兴趣,说的挺好的。再一次感谢本次活动的合作伙伴表示感谢。简单的游戏过后,我们开始下轮的分享,下一位更厉害了,来自PMCAFF的发起人及CEO——阿德。

阿德:大家好,昨天我们的产品经理跑过来问我我们是传统企业还是互联网企业,我一下子很郁闷。关于这个问题一直没想明白,我记得很早以前有个新浪乐居的副总裁跟我聊,他说我为什么总是招不到产品经理,我说因为你们是传统企业。

互联网的同学总是有一些框框去框住自己,大家知道我们在做外包大师,一下子从高大上到线上线下打通的行业,最近有一个词叫OMO,我们的团队在处理整个链条的过程会非常缓慢,并不像传统的互联网产品一样,我们目的做一个爆点就可以爆发,我们是在做2B的服务业,需要你每一个短版足够长,如果是做一个2C的产品,你只要有足够长的长板就可以了。

8941513130939_-pic_hd

其实,产品经理的成长是有一个自我驱动的过程,这里面我们用了令狐冲学到独孤九剑这个事情说一下,你们觉得你们学的会吗?每个人都认为自己是最适合做产品经理的,但大多数产品经理都不太合适,我跟余军老师聊过,行业内合格的产品经理数量也就在5%-10%之内,产品经理这个工种,独孤九剑放在他面前不一定有用。

令狐冲在学独孤九剑的之前是在华山派,练了十年的基本功,十年之间跟各大咖都有切磋,这是他十年的工作经验之后,当有他把独孤九剑这种高深的东西给他之后他才知道怎么突破。在产品经理自我成长的过程中,有几个悲哀的事情,第一个是看着自媒体的文章当教材。

为什么很多人会去看一些新媒体的内容当教材,大家接受好的方法论的机会比较小,其实大家内心也知道一件事情,好的产品经理必然是被好的师傅带出来的,因为这个工种太非标了,另外这个工种还有另外一个特点,不是随便化方法论的集合体,产品必须是一个完整体系的迭代过程,每个产品经理自己有一个自己产品的迭代过程。

跟一些比较好的运营同学聊过,早期的运营是一个套路的集体体,刚才杨过过画了一张曲线图,关于增长黑客的曲线图,很多增长的技巧往往都是套路的集合体,产品经理不是靠一招鲜的,产品经理要靠体系的,还要有一个好的老师,如果没有一个好的老师你的所有想法是碎片的,你在这个行业里属于孤岛前行,所以当独孤九剑放在你面前是学不会的。

这是互联网时代著名的独孤九剑——《人人都是产品经理》,《增长黑客》,这都是行业内知名的独孤九剑,每一个研究透了都很牛B,但是每一个你都研究不透。你说我作为一个产品经理怎么入这个行呢?我已经拿到了互联网产品经理至高的山顶,你还要把我按在地板上。

为什么会有这种心态?产品经理行业的门槛太低了,可能在路边的人也可能跟产品经理一样。这个行业的特点就是容易进,但是不容易做好,我认为产品经理这个行业对于一个资质平庸的产品经理而言,三年是一道槛,五年是一道槛,这两个槛能过去才有资格真正理解俞军的十二条军规在说什么。

在三年里,产品经理,这三年非常关键,产品经理最好到一个有师傅带的公司里,最好去一个成长速度还算OK的公司里去,不要去一个已经成长结束的公司,因为前三年你要学习打架,你需要把自己放在逆境中。我们现在有孵化器,我们一些知名的基金都在孵化下,猎投的团队给我推荐了几个产品负责人,他说这个人很牛逼的,这个人在新浪待过等等,后来我说这个人肯定不行,因为这个人在五年的门槛没有过,三年的门槛也没有过,因为他去的公司永远都是已经成熟了,需要一个看摊的人,所以我这个人一开始就告诉我们团队,这样的人少招到创业团队来。因为他没有打过仗,他的剑招没有在市场上玩过,只是把打下天下的公司守一个摊子,这是一个成熟的产品,躺着就需要赚钱的产品。

三年对产品经理来说最好抱着学徒的心态去工作,因为这个时候再好的互联网方法论都不行,不是因为别的原因,是因为你没有吸收和落地的能力。

第二,你在三年内工作找一个好老师,大家都听过一件事情,说做社区一定要有女人,但是我们产品经理不适合,你放到实际场景中,这个事情是不行的,在不同的环境中解决不同的问题要有不同的手法,这种手法首先是要成体系的,然后你所有的产品经理策略是从这个体系中往外发出去的,而不是天马行空的,很多年轻的小孩说自己特别适合做产品经理,我跟他们聊天都很汗颜的,我发现我的脑洞没他们大。

第五年必须要带领技术一起作战,如果有人带你三年,你要尽你最大的努力争取下来一条业务线,并且担责任,如果你过了就是非常好的业务经理。前三年非常重要,前三年就像一个产品经理的华山剑法,前三年产品经理在成长的过程中一定要找一个好的老师,你去找工作的时候不是你的老板在面你,而是你在面你的老板,如果你没有选择一个好的老板带你,基本上三年以后你会离开产品这个行业,这个行业容不下你。

如果产品经理能力不足的时候,身上的负能力是特别大的,你会特别有挫败感。我们这里正好有数据,我们之前做过一个调研,83.7%的产品经理认为他们的老板是傻B,如果我现场调研一下估计也是这个数据,为什么?因为这群产品经理三年的这道槛没有过去。

pmcaff%e4%bb%a4%e7%8b%90%e5%86%b2

独角兽公司金字塔

这是一个独角兽公司的列表,大家仔细看一下,每家公司成长的路径都不一样,你们仔细把每家公司扣出来,每家公司都不一样,产品经理成长的手法要结合当下的环境去改变,我认为一个好的产品经理要考虑五个维度的信息,一是市场变化,二是用户的需求,三是竞争对手的变化,四是老板的想法,五是公司内部资源的情况,这五个维度决定你出招的方法,但是很多人不会考虑那么多。

2014年年初的时候,我买了很多当当的股票,特别多,买这个股票的时候我是用产品的数据模型去算的,买了两周,两周之后大概涨了两三倍,我为什么能做这个决策,我把当当所有的线上流量数据抓出来了,抓出来之后我就去算,我发现一件事情。当当的流量投入成本是固定的,每个月都是500万左右,但是他利润率是上升的,所以可以判定他的成本是固定的,最近两三周他是要发财报的,所以我决定我把所有的钱都投进去,然后翻了三倍拿出来。

我干这件事的时候我下面有两个产品经理,我问他们说怎么看当当,我们的产品经理这么说,我觉得当当是垃圾,因为我身边的人都不用它,我说OK,你在用感觉做这件事情,你是这个世界上最可怕的产品经理,我可以告诉你们一个数据,因为我在360负责给电商放流量,当当的转化率是最高的,他的转换率是最高的,虽然你身边的朋友不用他,代表这家公司会死吗?

每一个产品经理当你做产品的时候,其实你就是坐在驾驶舱里,这时候你数据的来源非常的关键,而不是凭感觉,凭感觉会死很惨,如果放在三年以后所有人评价新浪微博,觉得这个产品没戏了,今年微博又起来了。微博那两年过得确实很简单,因为他的头部用户被微信拿走。但是,我一直跟朋友说,我觉得微博的信息呈现方式是所有信息呈现方式中最先进的,我不认为他会死,因为他获取信息的效率最快,大家想象不到一个什么样的产品,如今速度比他快,而且微博的方式先进。事实证明能够让微信和手Q变得比较难受的公司是游戏公司,因为用户的总时长是有限的,所以产品经理做很多事的时候要思考,而且你也不用去过分的非要把自己的东西硬套在别的商业思维里去。

为什么大家看了这些多干货依然干不好,但是看干货多吗?当我工作满五年的时候我什么内容都不看,我都是看书,看《论语》,老年人看的书,为什么?因为我工作了五年之后,我在三年前,我的好多老大带着我突破了我的基本能力,我要通过努力修改我的模型,我在五年的时候就有了自己的模型,不需要看别人的文章了解这个世界,我可以做试验,让我的项目告诉我这个项目的数据是怎么样,我学习的是这个,我不学习别人的方法论,价值很小,只要你有好的产品,你工作了四五年之后只有你的产品才能教给你东西。

当专家给你教方法论的时候你不会学到,因为你不会放到真实的场景体验,真正在产品上迭代自己。当然要先找个好老板。

在座的各位一定要知道一件事情,今天的你和明天的你脑子是不一样的,为什么人跟人配合工作会有效率的差距,这是我发明的词汇,因为你在说一句话的时候这句话已经被你编码了,什么叫编码,需求这个词完全是被产品经理编码过来的词,今天问一下各位什么叫需求?需求这个词非常不准确,但是被互联网编码过来的,什么叫刚需,刚需也是不准确的,你们也知道这个世界上不刚需的商业模式也有很多,你认为刚需,实际的刚需又不是一个等级,你用什么数据证明这叫刚需,不叫刚需。

互联网发明了很多词汇,其实在编码,所以你跟你同事聊天的时候,你其实用了已经编码过的词汇跟你同事传递,这时候考验最多的就是你的同事解码能力,你跟他说的词他能不能理解,最具体的表现就是这个世界上为什么非常需要产品经理,就是因为别的人跟程序员沟通很困难,而程序员跟市场的沟通也很困难,谷歌在2010几年的时候把一群项目经理叫到办公室说你们被开除了,他们要组建一群不一样的项目经理,要既懂技术又要懂专业,一个好的产品经理一定要清晰的知道你跟你身边的人说的话是不是编码的。

举个例子,比如说老板跟你沟通的时候你就要学会解码的能力,很多人发现老板说的话天天变,你有没有想过可能你们的老板脑子里是成体系的,只是你不具备这个解码的能力,所以你们老板找产品总监过来做解码的工作,你来做苦逼的事。

大家知道在2015年的时候互联网弥漫到基础建设基本完成的阶段,那个时候也是创投的顶峰,今年好多人说也没有什么东西可以干了。其实,互联网依旧还是非常酷的一件事情,还有很多的事情可以干。大家觉得不能干什么原因的原因是因为大家没有真正的进入到一个行业里,真正进入到一个产业,其实大家发现,当你进入一个行业和产业,之前有很多人想用互联网方式改造医疗,后来这个事被拆的越来越细。

pmcaff%e4%bb%a4%e7%8b%90%e5%86%b22

互联网基础设施建设基本完成

互联网越来越多跟线上线下做打通,服务升级,这一块机会非常多,未来属于+互联网,把传统的业务通过互联网的方式提升效率。所以在这个时候我们发现为什么你会觉得没有事可以干,因为你验证能力不行,很多产品经理有假设能力而没有验证能力。

比如,我在2011年的时候说我们可以做一个手机点餐的系统,当时大家说不靠谱,然后就没干。如果我当时有一个很简单的方式验证这个想法该有多好。没有行动就是我的问题,说明我不靠谱,大家如果想到一个主意没有行动,没有实践,没有数据反馈,其实你跟普通人没有区别。同一个主意被一百万个人想过,你也就是1/100000。今天为什么我们带着我们团队的同学做外包大师这个项目,因为我们想做双边撮合的平台,人类工作技能双边撮合的平台,我们觉得从信息化切入最好,我们最懂信息化,如果我们做不到这个东西,可能别的行业也别想。

我们用了一年时间在打磨这个事情,而且一头扎进去,现在还没有完全出来。最后注意的事情就是好产品经理和不合格的产品经理的区别就是,好的产品经理是杀手,不合格的产品经理只是个打手,好的产品经理能解决困难,直接把困难扼杀掉。但是不合格的产品经理只是把困难痛打一顿,浪费的公司的资源,让困难变得更加困难。

大家要知道一件事情,杀手做事情的时候专注点在哪里,他会非常专注解决一个具像的问题,他会关心他的增长,他会考虑他的迭代,会全员UGC,我相信吆喝科技也有自己的全员UGC。大概的意思就是所有的员工都有必要为这个事情做一个最简单的事,这是一种全员往前冲的状态,但是很多公司不会做第四点,其实不做第四点的时候这个公司风险非常高,团队风险非常高,因为你没有在实际的业务中行走,我们可能正在云端,这是很危险的。

谢谢大家,再次广告一下,我们正在做外包大师,大家有需求可以我们的同事,谢谢大家。

告别“拍脑袋” 用数据做产品决策

主持人:谢谢德叔的演讲。有请今天的最后一位大咖来自墨迹天气产品负责人向超群老师,有请向老师。

向超群:大家好,传说中的德叔叔见到了,在德叔大咖后面讲其实挺有压力的,既然来了给大家讲一讲,好歹比较好的一点是我本身不是做产品经理的,我是做数据分析的,本身是数据出身,我今天从数据的角度给大家分享一下我们是怎么样做一些数据分析,怎么样用一些外面的工具促使我们产品的增长的过程。

我来自墨迹天气,本身是做数据分析的,为什么会做数据分析,最开始是做咨询行业,做市场调研。做我们咨询行业,市场调研靠什么吃饭,其实靠的是逻辑——逻辑最根本的问题是什么,实际上是基于若干个前提,通过一系列的推导得出一个结论,这个结论要么是你想要的结论,要么是老板想要解答的问题,我们是靠这个逻辑吃饭的。

但是,在逻辑实现的过程中会有很多的问题,最根本的问题就是信息的不充分,信息的不足,我们讲到我有两个前提推导出一个结论,但是对这两个前提到底是怎么样,我们本身都不太确定,所以这个时候就很尴尬,不管是我们老板还是别人,还是谁跟你撕B的时候就会说你不严谨。

对于我们靠逻辑吃饭的人最受不了的就是别人说你不严谨,这个也是我们为什么要做AB测试以及使用很多的外部工具的原因,他其实最主要的就是让我们拿到不同的数据源做各种分析,充实你的前提、假设,只要你保证你从两个前提到一个结论分析的过程不出问题,整个事情应该就是一个严谨的过程,所以这是从我们讲数据分析的角度讲,我们为什么要做AB测试。

当你做一个事情做深之后,你会发现很多事情都是相通的,逻辑这个东西不光是产品经理用到,你做数据分析要用到,做律师可能也会用到,大家看律师写的法律文件都是非常严谨的,如果不严谨那他就挂了。

刚才德叔讲到任何事情只要你有三年的实践,每一个过程中间你去思考,你会融会贯通,举一反三,最后得到的东西就是不一样的东西。市面上的干货或者是不干的货,该看得看,但是更多是你看完之后怎么样思考,怎么样使那些东西为你所用,最后不管是做产品经理,数据分析,律师都会有比较多的用处。

简单介绍一下墨迹天气,因为代表公司来的,大概介绍一下我们墨迹天气的市面上,有没用过墨迹天气的吗?(现场果然出现一个没有使用过墨迹天气的小伙伴^_^)赶紧下一个,广告打完了,往下打。我们今天主要讲三个方面的内容,第一个是AB测试和产品决策的关系,讲一讲我们互联网行业用到的核心指标以及他们之间的关系,再讲一讲刚才您讲到的产品经理的数据。

为什么要做AB测试,已经说了,有很多的坑。讲一个故事,做AB测试之前跟吆喝科技接上头之前,很多人会提很多的需求让你证明这个问题,或者证伪这个问题,但是你拿到这个问题的时候往往会发现没有数,我们以前的做法是发测试包,等你包在某一个渠道发完之后,拿着数据找别人说的时候,他会问你这个渠道和另外一个渠道有什么差别,怎么样证明不是这个渠道单独的问题,当时就傻B了。

即使还有一些你可以同渠道去比,我这个渠道其实有两部分,一个是最新的版本,还有一个是以前的,他会再问你以前的那个是不是伪量留下来的结果,你这个时候又无言以对的,正是因为有不同的坑在里面。我们前面说的前提,你不知道他到底对不对,这个时候你要拿到更多的数据证明它,证伪它,就是这个过程有很多的坑,我们后来找到了吆喝科技,就有了这个东西。

为什么要用第三方?很多公司比较大了之后觉得我们这个事情为什么不能自己做,当时也是经过了争论,市面上去调研发现有一些问题,第一个你自己做出来到底要多久不好说,可能你现在需要验证你的需求能不能做出来,三个月之后黄花菜都凉了,时间上的问题。再一个就是专业的人做专业的事情,本身我们做天气的再来做一个AB测试的东西,不一定做的特别好。

第三个做第三方试验所得数据更有公信力,如果你拿着这个数据找老板,老板会说这个数可信吗?当他问你这个问题的时候,其实可能就已经不可信了,所以我们要有第三方的数据论证。

给大家举一个案例,大家都讲用户增长,怎么样才能增长?很多相通过社会化的分享,让大家都知道你这个东西,有更多人使用,分享按钮本身就是一个很重要的,分享按钮的设计可能也会影响到结果,像我们墨迹天气有很多市场活动,像夏天的时候超过35度可以拿着你的手机到麦当劳里面领一杯免费的雪碧。这个事情我们可能做一些推广的页面,让大家分享,分享按钮能不能做一些提升,转化力的事情,我们当时想了这样一些事情。

%e5%b9%bb%e7%81%af%e7%89%8710墨迹天气多个版本测试

最左边是最原始的版本,后来又设计了三个不同的版本,当你拿到三个不同按钮的时候,到底哪一个更好,空想肯定是想不出来,最简单的方式我们拿到 A/B 测试测一测,我们在后台上可以看到中间的这个版本是最好的,当然如果说你想知道更好的,到底背后是什么原因,可能单纯这个数据还看不出来,还要拿着这个找用户访谈,做更多的调研分析,最后得出来可能是这个。最直接一步的结果,我不知道原因,但我知道结果,能提升就是最低成本的方式,这个是我们结果提升的情况。

另外一个案例是工具类的软件时长都会是一个问题,黏性是一个问题,我们也会尝试做信息流的方式,这个信息流的出口放在什么样的地方最好,是放在右上角还是放在下面的菜单里,这些都可以用AB测试的方式解决。这个我们为什么跟吆喝科技合作去做AB测试的原因。

稍微总结一下,山高路远坑深,最主要是坑深,目标很远大,我们要做到这么多,但是你会发现路还挺远的。你要去撕逼,不断的背锅,不断的往前跑,拿到结论做方案不断的往前走,谁敢横刀立马,吆喝科技加身,这是毛主席给彭德怀写的诗,改了一下。

%e5%b9%bb%e7%81%af%e7%89%8715

向老师四句诗总结A/B测试作用

前面讲AB测试这一段基本就到这儿,下面给大家聊一聊我们数据分析还可以有一些什么方面的应用,给大家稍微的过一下,可能其中的每一条都可以是一个很复杂的问题,都可以花很长的时间来讲,限于时间的关系我把一些基础的东西给大家稍微的过一过,感兴趣的再去交流。

第一条其实刚才讲了一些,后面的这些通过数据去指导,BD渠道的投放,计算用户的生命周期,用户的生命价值以及投入产出比都会用到。

讲这个之前,首先我们要聊一聊互联网行业最常用的几个指标,新增、留存和活跃,如果问他们什么关系,可以定性的描述,我们通过数据分析可以试图建立之间定量的关系。之前在讲的时候有一些问题,第一个先要把概念明确一下,我们在讲到留存率的时候,留存率有不同的定义,有的比如说7日留存,那他用到的是在7日里你都活跃过的留存,还有一种定义是在第七日的留存,如果这个概念的定义是不一样的话,后面的分析完全是不相同,所以我们后面的分析都是基于这样一个前提,我们用到的留存率,N日的留存率都是第N日的留存率,今天来了一万个用户,我在第七日还有多少个用户活跃了,是用的这样的指标。

%e5%b9%bb%e7%81%af%e7%89%8720

留存率趋势图

这是我编的一个数据,老板看到了不用担心。我们在用第三方统计工具或者我们自己做的时候往往把数据的统计点,他只会给出若干个点,不会把所有的点都给到你。我们一般看到的都会给你1234567,七天的流程,再给你十四日,三十日的流程,把这些放到图表里你就可以看出趋势,基于上面的定义就可以看到次日流程,一般来讲只要没有人为的影响或者突发事件的影响,在日常的情况下都会比七日留存高一点。

如果一个产品发现长期的七日留存比次日留存高是什么原因,你可以好好分析一下,一般来讲次日留存肯定比后面的留存高,中间的空点简单看,如果7-13日,我们有理由相信正常的留存是在7日留存和14日留存之间波动的,当然不排除有一些异常的,但是整体的趋势是这样的。

如果通过某一种方式把中间的点算出来就会有一些用处,其实这个非常简单,截图都是这样的截图,你拿到你的7个点,你把这些点拿出来扔到表格里面做一个散点图再加一个趋势线,你就可以模拟出这条曲线到底是什么走势,那条曲线是有公式的,你再把你的变量带进去就可以计算出中间这些点的留存。

大家看到这儿的时候会觉得有什么样的关系,马上会讲,这是一个比较关键的步骤。接下来我们讲这个原因,活跃用户和新增用户和留存率是什么关系,我们先竖着看,比如说1号来了一万个用户,1月2号一万个用户还留下了6000,次日留存是60%,1月4号是40%,我们拿到的留存率的数据是基于每一天的新增做出来的,针对新增的留存率。1月2号同样又会有一个新增,比如说是两万,又会往下分,1月3号又会往下分。最关键的是这条红线,我们到底竖着看是针对新增,横着看就是我们的活跃。

%e5%b9%bb%e7%81%af%e7%89%8721

表格化理解每日留存率

比如说我这个APP就是1月1号上线的app,1月8号活跃用户的构成是什么样子,其实横着看最右边的,1月8号当天新增了3万个用户都激活了,已经算在了当天的活跃用户。前一天又来了三万,但是第二天只留下了一万,把这个一万加进来就多了一天,同样前面的1月6号一直到1月1号,你把这些横向的,N日前的用户到我今天留下来的比例,那个结果加进来,所有的加起来就成了一个当日的活跃用户。

基于这个横杠,我们可以再用一些简单的工具,就是表格,你用其他的工具做成系统也有,但是你计算的时候可以直接,这都是表格里面直接实现的,我的留存率算出来,估出来,中间的流失点的数据,你再把他们每一天的加起来。下面我把竖着,就是我每一天的新增,第二天留下来多少,斜角往上去看,比如说这儿新增了这么多,其实第二天留下这么多,再一天。

右下角都是0,右下角才有数,第一天的数到头来是留存的最多的一段时间,这个就是用表格的一些公式,一些组合,最后能算出来,大概有这样的一个模板,需要的话一些模板我可以给大家看一看。

讲了这个基础的新增、留存和活跃之间的关系,我们可以再去做一些其他的分析,就是用户生命周期,比如说市面上很多人会问,你用户的生命周期到底是多少,你只能拍脑袋说两年吧,实际上这个东西在刚才讲的基础上是可以计算出来的。

重点是你要想清楚用户的生命周期是一个均值的概念,你说我八年前就下载了墨迹天气就在用,可能我的生命周期八年还没结束,但是同一天跟我一起的十个用户,十万个用户,今天还留下多少,应该说基本上没有了,因为我们换了手机。

在这儿我们想成一个均值的概念之后去看这一批用户生命周期的时候,你最后会发现某一天一万个用户,第二天60%的用户来了,50%。一共生命周期是多少,我当天所有的用户都活跃了一天,第二天只有50%,实际上针对我这一万个用户来讲总共就经过了1.5天,大家会发现他就是我这一条留存率曲线的积分,但积分这个概念如果说不太好了解,无所谓,前面的公式都有,每一天的数是可以算出来的,你把那个数都算出来然后一加,实际上也是积分,积分就是这么创立出来的。

为什么积分+1,是我第0天的结果没有了,这是用户生命周期的问题,这个可能会有点枯燥。大概了解一下。好在都是有模板的,需要的话可以找我,但是了解一下过程就可以。

LTV,作为一个app,有了用户要表现,如果电商可能不适用,但是你是广告,你有两千万的用户,每天有用户去点你的广告,你两千个用户贡献了一个亿的营收,这一个亿与你花出去的那些钱,到底是什么样的关系,这个也是可以算的,刚才讲的过程。

我们有一个什么问题,我们花钱的时候一般买的是基于新增去计算,不会说我这一个用户花一万块钱买一万个用户留存一天,所以我们的成本基本上都是基于新增来计算,你的收入是基于你的活跃用户,我们现在就是要建立新增用户和活跃用户之间的定量关系,你就可以把你的营收分摊到用户的身上,分摊到新增用户的头上再用成本计算,你就知道他在若干长的一段时间里他对你营收的贡献到底是怎么样,大概就是这样的过程。

最后一个部分是产品经理的数据设置,我们做任何一个事情要分析,实际上是基于三段论,在A和B两个基础的前提上推出一个C,这是你想清楚的过程,有一些三段论的书可以看看,这是思考的过程。再一个是金字塔的原理,更多是告诉你怎么去讲清楚的过程,中间你要拿到不同的数据,不同的信息去论证你的过程,实际上就是用到了我们的各种各样的工具,重点是吆喝科技,所以拿到吆喝科技之后,做各种方案,做AB测试就能排除很多你不知道的因素,最后拿到之后说数据结果是这个样子,要撕B吗,来吧!要背锅吗,不好意思这个锅不是我的。

总体上我今天讲的差不多就是这些,如果对模板有兴趣的可以去找稍微下一下,结束了,谢谢。

互动问答

主持人:4位老师分享都已经完了,下面是特别好的一个环节,就是提问环节有三个问题可以向四位老师任意提问。

嘉宾男:我想问一下向超群老师,其实我们知道墨迹天气以前从工具属性到社交属性,我想了解咱们进行了哪些变革,我们知道从工具APP,一般都是即用即用,我们墨迹天气一般使用是两秒到10秒之间。

向超群:这个问题是这样,首先我不是最合适回答这个问题的人,因为我到墨迹也就三年的时间,镇痛的过程不是特别了解,有一点你刚才提到两到三秒的时间太过时了,我不知道你的数据从哪儿来的,从现在的数据来看肯定比这个多太多了,因为你这个太少了,具体我们市面上有一些情况,因为我们现在公司也在筹备上市,有一些公开的数据是可以看得到的。

在这个过程中,具体做的是什么,市面上其实也是科技看到的,比如说我们做的社区,用户可以发照片,可以做评论,做一些互动,有信息流,最近也在做的就是说起来比较虚,但是实际上通过一些AI的技术,比如说我们最近出的一个产品是用户拿着墨迹天气拍一下天上的云可以识别出来是什么样的天气,类似于这样的东西还是含量比较高的,因为天气是工具类的产品,墨迹天气和其他的天气到底有什么样的差别,能够让他们用我们,而不是去用其他的竞品。

主持人:谢谢。

嘉宾女:我想问一下王晔老师,我想问产品做 A/B 测试的时候,如何衡量我作的两份产品,可能不少于两份,这样会不会对产品开发周期和上线时间产生影响呢?

王晔:A/B 测试用的比较广泛的场景像有新产品发布的场景,使用我们的工具构建 A/B 测试系统,不会给你的产品研发工作带来额外的时间成本,所以只不过是通过一个SDK、一个控制系统把这个新老版本结合起来发布给用户,通过这套试验可以让一小部分用户体验新版本,大部分用户体验老版本。

如果你以前不做AB测试,你通常也是要做版本迭代的,版本迭代和原来流程上略有不同。另一种是你有好多不同的方案,比如说墨迹天气向老师提的,还有我们很多客户做的实验场景。这种多方案的事情,往往在界面上修改一个图片或者一个文案,都是通过可视化操作来进行的,不是来研发的。

如果你有多个研发的方案,涉及产品的核心逻辑、系统有关,这种可能会额外增加一些开发的挑战,但是用吆喝科技的产品,能让这件事情变得非常方便和高效。

嘉宾女:谢谢。

wechatimg903

主持人:谢谢王晔老师,还有吗?

嘉宾男:我想问一下王晔,刚才您讲了一个摩拜的案例,我们在做测试的时候,有时候一个影响是有多方面因素的,比如说一个单车,各种因素对他用户都会有一定的影响,我们在做测试的时候,如何去排除多方面因素的影响?另外一个就是刚才讲的案例涉及到的是开始用高德地图后来用腾讯地图,其实我后来发现是百度地图。

王晔:其实,AB测试是一个工具,用起来很简单,其实背后解决的问题是很复杂的,解决的问题是刚才那个问题,怎么剥离其他因素的问题,所以牵扯到样本的选取以及试验的控制,还有具体你在试验控制阶段还要去判断,首先判断一个用户是不是能够被采样到某个试验中去,还要根据实际的试验配置选取一些用户,让他们进入对照组和实验组,他们的体验还有他们的用户特征分布应该是具有代表性的。

如果北京正在下雨,上海是晴天,深圳很热,这些都得选择对照组和实验组,本身就是在解决这个问题,他参照的原理在医学里叫临床三期检验,然后得出结论。这是最高的一个标准,如果通过AB测试你这个药可以卖,药再治不好病,吃死人也不怪你。

主持人:谢谢王老师,三个问题之后我们就来到今天的最后一个环节了,抽奖,都等着最后一个奖呢,抽完马上就要走了。马上抽出今天的最后一个大奖,是一块手表,这块手表从我们第一次以来做吆喝科技的私享会就会有,真的非常好用,很实用,怎么抽这个奖呢?本来要用二维码抽,但是我不能抽,我们三位嘉宾也不能抽,我要请出最后一位嘉宾,谁能用最简单,最简洁总结一下刚才嘉宾分享的故事,有没有人能总结一下,最简单,最精简的话。

嘉宾女:数据驱动价值,我们要看到背后隐藏的小秘密,包括有好多套路,好多干货,最重要的还是要靠自己的修炼,当然得数也说到靠老师,谢谢。

主持人:基本上算对吗?就这样,差不多。

嘉宾女:其实我这次听到的关键词最多的是AB测试,结合这一系列AB测试引发出来的,我为什么做这些需求,我先知道我要想做什么需求,我想做什么需求要通过AB测试分别列出来,用实际的效果去说话,最后来支持我整个通用版本的迭代。

作为一个产品经理,我做什么功能不是为了做而做,我要知道用户的实际需求,其实他说需求的时候,我的需求不是从用户那儿来的,但是我要知道用户在什么场景发生了什么事,这个问题是产品经理特别需要慎重考虑的问题,这就是最开始墨刀的美女说的。需求确定了之后要通过AB测试这种方式来验证我的推断到底对或者是不对,这是我今天听到的。

主持人:这个总结还不错,我觉得分享的不错。今天我们的分享会到这里接近尾声,再一次感谢分享的四位老师,来自墨刀的杨过过,来自吆喝科技的王晔,来自PMCAFF的阿德,来自墨迹天气的向超群,谢谢。再次感谢大家参与,我们下回分享会再见,拜拜。

%e5%ae%98%e6%96%b9%e4%ba%8c%e7%bb%b4%e7%a0%81

7282 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。