王晔:Google归来,我想让A/B测试驱动产品优化在国内流行起来

%e8%b0%b7%e6%ad%8c%e5%bd%92%e6%9d%a5

 

1、为什么放弃 Google 优越的条件回国创业并选择A/B测试作为切入点?

我为什么放弃 Google 的岗位选择创业? 我虽然在 Google 的核心部门任职,但我依然认为 Google 并不是这个时代真正的引领者。在移动互联网时代,新一代的企业像 Facebook 、 Uber 、 Airbnb 才是互联网的弄潮儿,它们更创新、更积极的推进新型的业务和产品。所以我觉得待在一个已经开始有点传统化甚至有点落后于时代的公司,还不如自己出来创业。无论是在北美还是欧洲,中国人受到的局限性比较大,你需要解决身份认同、文化冲突等一系列问题。 但在中国,我如鱼得水。

 

另外,我觉得中国市场的体量远超北美,甚至远远超过欧洲、日韩。所以在国内创业,发挥的空间非常大。而且国内对A/B测试越来越认可。于我而言,回国创业是一个契机。2008年,在一次国际学会讨论会上,我与一个美国师兄发表了一篇论文,希望通过影子配置测试网络系统或者网络设备,比如:路由器等配置是否正确,王晔构想在网络设备环境下同时在线一个服务版本配置即 A 版本,如果想修改网络配置,首先修改网络配置的影子配置 B 版本,在 B 版本里测试连通性,当测试环境符合修改者的预期后,再与 A 版本进行对调,完成网络配置的修改。

 

这项科研成果为王晔今后创业埋下伏笔。

 

2、为什么A/B test在国内可以作为创业切入点?在国内外有何需求差异?

我在 Google 总部负责搜索广告产品的创新和研发,为 Google 广告主提供新功能,提升 Google 搜索广告以及展示广告的质量,通过改进广告产品系统算法帮助提升 Google 广告的营收以及点击。在 Google 工作期间,我发现A/B测试的思想使用频次非常频繁。在搜索广告产品改进的过程中,时常涉及到对 UI 或者广告展示方式进行修改或者加入新的元素提升广告展示效果,但以 Google 的体量贸然上线新功能一旦出问题就面临难以估计的损失,因此在 Google 广告产品新功能上线都要经过严格的A/B测试,先分出小部分流量对新功能进行测试,统计这小部分的使用数据(点击率、停留时间、营收)判定新功能的利弊性。

 

通过 Google 切身经历,我发现A/B测试技术在实际运用过程中效果显著,认为A/B测试在未来将会成为刚需。与此同时我发现通用的A/B测试解决方案或者第三方服务在市场上却很紧缺,只有美国和日本能提供优质的A/B测试服务。这让我看到了创业机会,并萌发为国内还未使用A/B测试方法论以及已经具备A/B测试思想但是方法还很粗糙的企业主提供A/B测试服务,通过自己在A/B测试领域的经验以及对市场的判断帮助企业主改进他们的决策以及产品流程。2013年年底开始,我开始寻找各种机会回国进行调研,发现国内能单独使用A/B测试的互联网企业可能不足10家。王晔希望将 Google 使用的A/B测试服务带进中国改变国内现状。

 

3、吆喝科技的在线A/B测试云服务平台核心竞争力是什么?能解决目标用户的什么痛点?

AppAdhoc A/B Testing 云服务,用数据帮助企业优化产品与广告,是国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java等)A/B测试服务的 SaaS 平台。企业主通过接入使用吆喝科技的 API 或者 SDK ,在他们的产品、营销渠道以及内部软件系统内进行A/B测试,用数据帮助研发团队做产品决策,避免无数据决策的产品风险,提升产品潜力。基于 AppAdhoc A/B Testing 云服务,吆喝科技还提供客户成功等咨询服务,帮助企业结合吆喝科技的工具提升内部的流程。 我们独特的地方如下:

 

首先:对于新注册用户提供45天免费试用期; 其次:推出易用版,实现所见即所得功能。比如可以直接看到 App 改版后长什么样;可以直接拖拽、修改,设置放多少流量进行实验,或者发布某一个特定的版本,都可以动态实时地看到数据报表。 最后:吆喝科技还会举办增长黑客沙龙、数据驱动优化流量运营分享会以及产品经理线下活动和培训课程,从产品经理、数据分析、运营等人员切入,让企业产品运营决策者多渠道接触行业领先的A/B测试方法论,针对传统企业吆喝科技从行业的咨询角度结合互联网+的理念,将互联网企业精细化运营的概念传递给传统行业,将以往盲目的决策方式转变为以数据驱动的决策方式。 我们希望通过让用户低成本的尝试、可视化A/B测试服务以及线下交流的方式,让国内的企业主认识A/B测试概念,将概念迅速融入自身产品的决策之中。

 

4、A/B测试对于企业的资源(人员、技术配置)有什么要求?具体流程是什么?

A/B测试在很多知名企业,比如 Google 、优步、百度、知乎这样的企业,已经渗透到整个企业决策流程当中。 首先,它的决策者、 CEO 会关注各个部门最近在做哪些AB测试,获得了怎样惊人的成果。然后,公司的产品负责人、市场负责人会关注目前每个项目组都在进行哪些AB测试实验,以及各个项目组的表现如何。最后,是AB测试的实际执行。如果用专业的A/B测试工具,企业内部只需要一个对技术略懂的程序员以及一个营销人员配合,其他工作都可以通过软件来完成。如果没有A/B测试工具配合,企业在执行A/B测试会比较困难。 首先要策划两套不同的方案,工程师开发两套不同的页面、流程,这个需要占用昂贵的技术资源;然后要实现测试组、对照组同时上线,并进行的流量分隔和实验,这个实现起来也很复杂;接着要进行数据采集、数据分析,又是一个非常麻烦的事情; 最后,要把数据分析结果生成可视化的报表,帮助企业决策。对于普通公司而言,要完成整套的A/B测试需要非常强大的 IT 团队经过长期的开发测试,同时也需要一直维护。所以,我建议采用专业的A/B测试工具结合客户成功服务来完成。

 

5、如何理解“全数据驱动产品优化”的概念?能否举例说明为何突出数据的「全」?

全数据主要有两个方面:
一是平台的全面,吆喝科技的A/B测试云服务国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java等)。
二是数据的全面,所有用户的对于相关页面的关键信息以及数据都会被采集记录,方便后期的整理分析。

 

6、如何理解「顶级的 PM 也只能跑赢一半A/B测试」这句话?A/B 测试有哪些局限?

顶级的 PM 可以通过直觉与经验判断产品,但是这并不稳定,每个人的感觉不一样,不同产品的用户口味也千差万别。熟练使用A/B测试工具,就相当于110米栏的跨栏比赛中去掉几个栏,运动员还是那个运动员,成绩能提高不少;减少几个栏并不能代替运动员参赛,仅能降低一些难度而已 A/B测试工具就是这样,能帮你降低难度,却不能代替你参赛。会降低难度的运动员,才是顶级 PM 。

 

7、对网页做大范围的A/B测试会对 SEO 带来负面影响, AppAdhoc 如何降低这种风险呢?

首先还是要看你网站的流量大小,如果流量比较大的话,我们可以通过流量分割的方式以小的流量来针对不同的方案进行验证,在完成试验周期并将试验收敛之后我们就可以得到置信区间内的结果。通过这样的方式我们就可以通过尽可能小的流量来测试,不必过多的影响 SEO 。

 

8、国内和国外的企业服务市场有什么不同的地方?企业应当根据什么样的标准选择第三方技术供应商呢?

企业互联网服务市场在国外已发展成熟,我们都知道中国互联网有个 Copy to China 现象,就是把美国成熟的新互联网模式复制到中国。但在企业互联网服务市场,这就变得很有挑战。因为相比较消费者 C 来,中国的 B 跟美国的B相差更大,市场更不成熟;而相对成熟的市场又很容易被美国公司的解决方案所服务。另外一点就是国外的企业服务市场都是在十分垂直的领域做细分的解决方案,而国内的企业服务市场大多是在走平台化的线路,提供大而全的产品。我建议企业选择第三方技术供应商首先还是需要着重考虑自身的需求,其实还需要更多考虑产品的开放性和集成性。当然物美价廉的产品还是人人都爱的。

 

9、企业服务市场的竞争越来越激烈,吆喝科技在业务和研发方面如何保持竞争力?未来有哪些明确的计划?如何应对国内数据分析工具产品的竞争?

A/B测试技术本身还处于研究的阶段,我们首先要不断完善 AppAdhoc A/B Testing 云服务这套系统,希望继续保持国内A/B测试服务商领先地位,除此以外我们也将尝试与行业咨询公司合作推动A/B测试领域,为各行业运营者提供行业精细化的解决方案,未来还将不断的延展产品线路,包括决策 AI ,优化自动化等功能,为更多的企业主提供优质的服务。 吆喝科技虽然还处于创业初期,但却有近500家企业已经在用我们的A/B测试工具。 其中包括很多非常知名的企业成为了我们的付费用户。我们的服务已经深入到金融、电子商务、游戏、健康、教育等等各种行业。另外,除了服务好国内的市场,我们还会考虑扩张到海外,比如日韩、东南亚以及欧美市场。

 

另外和数据分析不同的是,A/B测试更多的是决策工具,更多的是通过数据来驱动决策,和数据分析工具还是有着本质的区别。

 

10、产品经理和研发的工作是紧密联系的,从您的丰富的经历来看,合格的 PM 应该具备什么特点和能力?

想象力,执行力,是我认为 PM 必备的特点,小步快跑地快速迭代才是最主要的。另外现在的工具越来越多,我认为 PM 也需要充实自己,能够对于常见的工具都能熟悉并且使用。

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

7987 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。