全球视野下的A/B测试增长实践—中国台湾篇(二)

A/B Testing= Always Be Testing

在我国台湾地区,电商或是线上服务,数位广告的转换率越来越糟。大家都在寻找新的方法,希望可以让潜在的用户了解自家产品的好处,而不是片面的撒大把银子打广告。
A/B Testing,除了单纯改改网站的按钮颜色,或是文案及照片,更重要的是在实验开始前,先了解自身公司的价值主张。这…听起来距离公司行销面有点遥远?没关系,这篇文章分享近期我收集到的课程及案例,把这些课程内容与自身的经验做结合,分享给大家为什麽要进行A/B Testing?以及要怎麽做A/B Testing?

数位广告转换现状

开始介绍A/B Testing之前,我们先来看看数位通路导流的问题在哪裡?参考互联网女王2018的趋势报告,裡面提及,过去几年厂商可以尽情地投放广告,而不需要思考太多其他策略面的方法,原因是过去几年的流量红利包括了智慧型手机出货量的增长,以及全球上网人数的普及。但是,如下图所示,智慧型手机在2016~2017年的增长几乎趋近于0%。代表会买智慧型手机的人都已经买了。比较明显的例子,是在台北搭捷运的时候,每个人手上都已经有一隻智慧型手机(除非你想要一边追剧,一边打手游,这样可能需要两隻。)

互联网报告(图片来自腾讯科技)
在下面这张全球互联网用户的图表下,我们也可以看到用户增长的比率也是渐渐下降,这代表什麽?代表会上网的人也大部分都在线上了。

全球互联网用户同比增长(图片来自腾讯科技)
会买智慧型手机的人都买了,会上网的人也都在线上了,那这跟数位广告导流转换的关系是?
想一下,每个人每天手机上网时间的情境:可能是通勤,或是下班后无聊的时间。但每个人一天拥有的时间是固定的,不会因为多买一支手机就增加了时间,也就是说数位广告的业主其实是在竞价每个人的「时间」。
就我自己的观察,在每个行业,新创小公司因为资金的关系,一开始不太有机会砸钱在电视广告。原因是电视广告的费用至少都是10万起跳,还不一定保证效果!另一方面,数位广告 — 像Facebook或是Google Adwords,皆能直接安插追踪码在每一个消费者行为的路径,可以很明确地知道,到底是哪一篇文章,或是哪一则广告带来了收益,这也造就了一波新型态电商掘起的优势。
只是现在,连传统的大公司也开始知道数位广告的好处,当他们也一起跳进来抢食上网使用者注意力的时候,数位广告的价格理所当然地就开始上扬。最明显的例子就是今年跟几位在电商工作的朋友说到,每次投放的CPC或是CPA价格是去年的翻倍,可是触及率或是转换率却远远没有以前的好。
从下图,我们可以发现,过去几年台湾的数位广告量几乎都有20%的成长,这也印证了有越来越多的厂商跳进来买数位广告的趋势。

台湾数位广告量趋势变化

为何要进行A/B Testing?

当公司规模小的时候,产品的走向要往哪个方向走,其实很容易,「老板说了算」(Hippo,Highest paid person’s opinion),主要就是老板用他先前的经验,让目前的商业模式可以有正向的营业收入。
开始有了团队之后,会有产品经理、设计师、工程师以及部门主管。另外,专案数量变多了,老板不一定可以每件事情都顾到,此时每个人都有意见,听起来又都很有道理,那该怎麽做决定?
A/B Testing,其实是一个帮助大家做决定的方法。先从一个比较巨观的情境开始,帮助大家了解A/B Testing。在Forbes这篇文章中,举了一个花店的例子。会影响到使用者购买产品意愿的可能,包括:

  • 产品的品质(Quality of the product)
  • 产品能否准时送达(Reliability and timeliness of delivery)
  • 运费(Shipping costs)
  • 「花束」本身的价钱(Bouquet pricing)

想像一下,你是这间花店的老板,想要进行线上买卖,透过网页让你的消费者可以进行购买,你会怎麽进行假设?你会怎样呈现你的网页,直到你可以达到上面4个项目的为止?

  • 农场直送鲜花,品质看得见 — “Beautiful bouquets fresh from the farm”。很直觉地联想到,你可以安排农场採收的画面,或是送货的画面,尽量把「直送」这个观念传达给使用者。
  • 保证在情人节当天可以送达 — “Guaranteed Valentine’s Day delivery”。为了确保情人节当天可以送达,一种测试的方法,是一位女生在公司上班的时候,有一束花放在办公桌旁边,又或是单纯以月曆和时钟,呈现时间的感受。
  • 非常低的运费 — “Low, flat-fee shipping rates”。可以直接标示出运费的价格、又或是比较众多货运公司的运费。
  • 价格合理 — “Flower arrangements starting from $35”。比较与一般市面上花店的价格,可以用表格,或是直接秀出价格

假设上面是一个Landing page,在开始建造网页之前,花店的老板已经有4个价值主张(value proposition)。实际上,要完成这些价值主张,有很多种不同的方法,我们不太可能一次就把4种不同的价值主张完全验证完。比较可行的方法,就是先做出第一个版本,先确认好线上送花的这个行业是可行的。在这个先决条件成立的前提之下,我们就可以开始进一步,针对每个不同的价值主张进行A/B Testing。

在进行A/B Testing时,还要先有一个心理建设,这些实验及改变,除了能让你在短时间看到某个按钮好像改变后得到的成效之外,它也可以为你下一个档期,需要曝光的行销案,提供更明确的执行方向。

举个例子来说:在上面第二个价值主张,是保证可以在情人节的时候把你的花送到对方手中。假设这个是使用者在乎的痛点,那麽「准时送达率」就会变成一个非常重要的KPI(Key Performance Indicator)。可以观察在一次的节日实验中,收到多少通抱怨的客服电话,又或是当有人使用这个服务后,下次在节日的时候,再次使用这个服务的回购率是多少?上述两点,都比单纯在一次的A/B Testing得到较好的结果,对公司来得更具建设性。

进行A/B Testing的整体流程思考

管道分析,是对产品初步的了解,这个部分可以从安装追踪码开始。当然放置追踪码之前,你也许可以假装自己是一个第一次接触到自家品牌产品的使用者。如下图所示,有可能你的脸书被广告打到,或是你因为某种需求查询而来的关键字,或是不小心在看一些部落客的分享文中。

接著,你有可能会去点击首页的说明,或是CTA(Call To Action)按钮。当开始对某项服务感到兴趣的时候,你可能会想要多了解一下产品的全貌。如果该服务有Blog的话,可能会去点击,看看有没有其他人使用这个产品的回馈,又或是如果有FB机器人的服务,点击之后,与机器人互动看看,看能否找到自己需要的答案。

有些潜在客户,可能做了以上的动作之后,都还是没有购买。他可能会先注册试用免费版的服务。过了一阵子,收到了公司发给他的优惠讯息,最后才变成客户。这个过程短则1~2天,长则好几个月。如何追踪到这感兴趣的潜在客群?A/B Testing就适合在这个时候使用。

客户使用服务之管道分析

客户使用服务之管道分析

客户使用服务之管道分析

管道分析,可以把它当做一个俯瞰的角度,了解潜在客户从哪裡来?会前往哪些途径?但如果单纯只知道潜在客户会往哪裡走,是无法和商业价值有所连结,所以要进一步做漏斗分析。所谓漏斗分析就如下图所示:

在下面这个例子之中,是一个电商平台的例子,从图中可以看到放入购物车的潜在客户只有46%的人有前进到下一步骤,另外54%的人都离开了。开始填写资料栏位之后,又有44%的人会离开,所以到最后购买成功,只剩下全部的26.26%。上面举这个例子,可能就只是在你商城中其中一个管道,接下来要做的,就是针对每一个流失率高的漏斗,开始进行A/B Testing的优化。

来源于 ninja

A/B Testing Crash Course for Product Managers这门课中,建议我们先做用户的分群,并且举了Udemy想要关注的族群,包括:第一次进到Udemy的用户与回头客的比较,使用桌机进到网站者与手机版的用户比较…将上面这些问题与A/B Testing可以进行测试的项目做结合,展开不同的实验可能:

最后他们把重心放在,第一次进到Udemy网站的潜在客户却没有注册成为会员的这群人身上。

建立呼应问题的假设

既然已经决定想要测试的对象了,接下来我们就要开始学著问问题。「建立假设」其实就是一种问问题的方式。什麽是假设?简单来说,假设是对于一个现象的出现有一个合理的解释,但不知是否真的能完整去解释这个现象。

比如说:牛顿被一个苹果从苹果树上掉下来砸到,所以他假设有一股力量,可以将苹果从树上拉下来,接著他去做了很多实验,发现不只是苹果,其他的东西也都会掉下来,观察了这些现象之后,他尝试用数学的方式,建立一个模型,这也就是后来「万有引力」的由来。

再举一个例子,最近我在找日本东京旅游的资讯,找了Airbnb的东京住宿地点后,再去开instagram,马上就有Airbnb的广告等著我。可是当我已经用booking.com订好饭店之后,我的FB上还是有Airbnb的广告对我投放。原因就是广告商抓到我想要去东京旅游的意图(在Airbnb网站上搜寻东京住宿地),所以它们假设我想要在Airbnb上订房,但实际上我已经完成我在东京住宿的预订。

广告商假设,「你最近常在看东京旅游的资讯,你会对Airbnb的广告保持兴趣」,但实际上我已经完成订房了,像这样的假设对我来说就是错误的,Airbnb的广告费用对我没达到功效。

这边提供一个假设的范例给大家参考:

我相信_________可以得到________的业绩改善,因为这个方法_______

我相信「将使用者顾客的logo移到比较接近帐单的部分」可以「增加5%」的业绩改善,因为这个方法「可以增加使用者在消费的信心」。

当然,想要增加到达页面的转换率,可能不只有一个假设。很多其他的假设都可能让页面的转换率提昇。下一步,我们需要来排序,到底哪一个假设,比较值得进行实作验证。至于排序的方式,可以参考下图,针对每一个假设,给其特定分数,分别以「商业影响程度」,及「技术执行面执行容易」的程度思考执行面的难易度。排序完成之后,落在图中右上角的项目将会是最需要排进实验时程的项目。

评估是否执行假设四象限图

评估是否执行假设四象限图

根据先前假设,设计实验

开始实验之前,我们需要先知道几个不同的实验参数,分别是

基准转换率(Baseline conversion rate)

这是原本实验前,目前网站的转换率。

最小可辨识效果(Minimum Detectable Effect (MDE))

在实验前,我们会先设定好多大的差异(Effect size)才算有意义,我们要知道实验组和控制组有多少差异才叫做有效?

统计显著性(Statistical significance)

统计显著性是用来衡量实验假说的效力,我们会需要设定实验的显著性,来判断实验结果是否有代表意义。(一般来说实验假说的显著性设在95%)

样本数(Sample size)

样本数大的实验所获得的结果,会相对较有说服力。

看完上面的定义,不知道怎麽去计算?还好你可以用下面这个连结,它会帮你计算,在控制实验变因之下,需要多少的Sample 才够。

我们曾经做过一个实验:设定一个baseline conversion rate=20%的例子,那如果我们的MDE是5%,且Statistical significance是95%的话,那麽我们需要25,000的样本数,才能得到有说服力的结果。通常A/B Testing都会做一段时间,如果你的网站平均每日流量大约在10,000人左右,将25,000/10,000,你需要2.5天,才能得到足够的样本数。

分析数据,找出是否能验证假设的解释

等到数据都蒐集的差不多了,就要来看看数据到底能不能验证我们的假设,是否正确。如下图所示,这边我们来看一个A/B Testing完成之后,看起来很有效果,但试过一段时间之后,控制组与实验组成效渐渐接近的状态。在 A/B Testing and Experimentation for Beginners这门课中,老师告诉我们不要太急著下定论,可以注意下面两个要点:

  1. 变化1(Variation 1)及变化2(Variation 2)与原始(Original)在2009–12–14到2009-12–21这一週看起来是有显著的差别,但大约在2010–01–01之后,这三条线段几乎都重叠在一起,如果太早把所有的网站流量都导到变化的设计,可能最终的结果不一定会理想。
  2. 有可能使用者对新的变化有反应,但部分的使用者在2010–01之后,已经熟悉了变化,他们之后再次到访网站的时候,就不再进行购物的行为,导致转换率趋于平缓。关于这点,我认为应该是这些变化都不是改善转换率的关键点,可能要重新回到第二步进行A/B Testing的整体流程思考,回去审视,是否有哪些数据被遗漏掉,或是没有发现到使用者的关键行为。

%e5%8f%b0%e6%b9%be2-7

From A/B Testing and Experimentation for Beginners

当然如果实验出来的结果,有很显著的差异,那麽尽早上线,将会是一个最好的选择。

下次会更好

通常一次的A/B Testing不一定可以马上看出成效。做完一次A/B Testing可能会有以下几种结果:

正向的结果:假设正确,可以在数据上找到证明假设的证据。但老实说,这也不要高兴得太早,原因是我看过很多文献,很多改变都是在初期2~4週是有效的,但是当时间一拉长之后,原本新版改善的成效,会渐渐趋于频缓。

看不太出来有什麽差:不要气馁,这并不表示这次的实验没有用。可以看看漏斗中是否有些明显的差距。如果还是没有,表示这个假设并没有完全找到值得测试的项目。

反面的结果:你的假设与实验的数据相左,新的尝试比原本的设计结果还要来得糟,确认一下实验的样本点是足够的。如果确认之后,还是没找到可疑之处。那就大方承认这次的结果并不符合预期。实际上,实验本来就没有一直成功的道理。重点是能够在这次的实验中,学习到什麽,才是最重要的!

除了A/B Testing这样量化的分析之外,可能也要搭配一些问卷式的质化分析,询问使用者「为何没有做完成网站想要他们做的行为?」增加A/B Testing的完整性。

结论

A/B Testing已经整合在最佳化转化率(Conversion Rate Optimization)之中,要能从巨观上结合商业思维,接著从细节中找到使用者真正在乎的痛点,如此,才能进一步地提升服务的品质。毕竟,A/B Testing的另外一层意思就是Always Be Testing啊!

AB测试 黑客增长 二维码

810 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。