通过A/B测试我们如何把户流失从2.3%降低到0.5%

和所有的 SaaS 公司一样,我们一直都在处理持续、恼人、不断的流失,这个过程就像看到有人没拧紧水龙头。2.3%看上去是我们可以接受的流失率。虽然这个数字没什么好夸耀的,但多少还能够有些优化的空间。

降低流失率是我们自己设定的目标。但是没有设定确且的目标,因为这几件事情还没有搞清楚:

1.为什么客户会流失?

2.是内部原因、外部原因或两者都有?

3.它可以解决么?

4.考虑到所有上述情况,需要多长时间来解决它?

 

第一件事情就是是完成 SaaS 公司通常都会做的研究,不论成功与否,以减少客户流失为目标。和其他的话题类似,网上关于如何减少客户流失的铺天盖地的内容不那么可信。

 

长话短说,我们尝试多种降低流失的最佳实践。都没有用,是时候去探寻更深层次。

性能表现和满意度偏差

我们注意到, 合同为期一年的客户是我们主要流失客户 。这是令人鼓舞的,同时又令人失望。令人鼓舞的是,这意味着客户没有主动离开,令人失望的是,它告诉我们,在某些情况下我们没有足够的吸引力争取续约。

 

现在是谦虚好奇的时候。如果客户在试用期间和最初的几个月对我们的产品满意,为什么他们的满意程度会随时间下降?我们的产品是自动化且基于算法的,按理说它的性能表现应该前后相同。事实上,它的性能表现还会因为算法的机器学习时间而提高。

 

这是我们第一次灵光一现,产品的 性能表现和满意度之间的相关性往往随着时间发生偏差。我们让客户成功团队做更深的探索;揣摩顾客为什么随着时间的推移满意度会下降。

 

客户成功人员发现令人大跌眼镜的结果:客户认为我们的产品的影响并不像开始那么显著,我们产品带来的业务价值随时间递减。

 

这就像和一个真正美丽的女人或一个非常英俊的男人约会一样。起初,你肯定对她的容貌叹为观止,但一段时间之后就感觉一般;但她依然还是像几个月前那么美丽。一切都是因为你习惯了,一旦习惯之后就不再给我们留下深刻的印象。

感知与真值:导致流失的差距

这里有一个等式:在我们的感知价值和真正的价值之间存在差距,这个差距随着时间的推移不断扩大。这个差距就是我们的客户流失的主要原因。那么 SaaS 企业应该怎么办?那就是找到弥补差距的办法。

 

客户成功人员从客户那带来的反馈,“我们怎么还能知道是你的产品带给我们价值?

 

另外,“我们开始看到您的产品所带来的的影响,现在我们却不能确定了。”

 

我们调取这两家公司的相关使用数据。这是其中一家:

itemeditorimage_57ff6f1751495

这立刻正确证实了我们的价值差距理论 。这家公司从我们的算法的性能表现中受益,但依然是不完全相信我们的产品是值得花钱投入的。

 

在这一点上,我们认为我们可以很快搞定这件事。我们把这张图发给对方,并告诉他们:转化率在过去九个月稳步增长,这是我们当初承诺我们的算法所能带来的。

 

他们的反应出乎我们意料,“是的,但你怎么知道这是源于你的算法?我们做了大量的市场推广,转化率提升可以归结于此。“

我们怎么能知道他们是绝对100%正确的?

弄清事情真相的最快方法

在该客户的网站上运行我们的一个算法,以加深用户参与度和提高访客到线索的转化率。该算法首先“学习”网站的内容资产(应用文字和语义分析),然后实时分析访客行为,在自然浏览最合适的时间点推荐最相关的内容。

我们通过两件事衡量:

1. 用户参与度

2.转化率

 

这是一个简单直接的事情(或我们认为是简单直接的)。我们插入一行代码到网站,客户可以看到用户参与度和转化的提升,这些能够保持并略有增加。随着时间的推移,皆大欢喜。

 

“你怎么知道这是由于你的算法带来的?”

1.一旦起初的用户参与度和转化提升消失,客户把新的数字作为业绩比较标准,基本上就忘记使用我们产品之前他们的网站表现.

2.我们知道 这是由于我们的算法带来的,但是我们不能给客户证明这是我们带来的。

 

分离你的产品带来的提升然后呈现它

可能解决这两个问题的方案是在我们算法的实施之前和过段时间之后分别将客户的网站的性能表现记录下来,这样能够在客户忘记我们的作用时,提醒客户。该解决方案因为两个原因站不住脚:

1.小家子气,有失尊严。难道还需要开发专门提醒客户的应用?

2.没有考虑时间的推移和客户其他营销和CRO工作的效果。

 

进一步探寻解决方案。我们只需要分离出产品对于网站性能表现的影响,并能提交给客户就可以。从价值的角度来看,我们必须找到一种方式来证明产品为客户在持续的基础上提供某种程度上无可非议的价值。

网站上的最佳分离表现性能和衡量的方法就是A/B测试。所以,如果着陆页足够好的话,我们没有理由不在大量页面或者网站中应用。

 

价值证明

以下是我们如何把产品的价值证明给我们的客户:我们会在一个连续的 A/B 测试模式下运行我们的算法,有和没有我们的产品。这客户将能够看到,在所有的时间,我们的产品对其网站用户参与度和转化率的影响。

两个问题:

1. 我们只让一半的网站的访客在我们的算法下,因此不能最大限度地发挥我们自己的产品的性能。

2. 如果根据客户的报告,我们发现价值没有达到预期,怎么办?

 

为了解决第一个问题,我们在保持统计显著性情况下分配尽可能最低的对照组(B模式,没有使用我们的产品),同时确保我们的算法达到最大效果。这取决于每个站点的流量,试验占整体流量的5%至1.5%。这样,客户可以在任何时间点看到其网站在没有我们产品的情况下的表现。

 

他们可以亲眼看到,如果他们选择终止合同,网站的用户参与度和转化率就会立即下降。(我们并非在卖弄。这是我们发现并证明产品持续带给客户价值的方式而已。)

 

在控制面板中是这样体现的:

a12345

老实说,要证明第二个问题更加难,而且更可怕。不是每个公司每天对所有客户进行如此严格的,量化的测试。针对这些客户,我们会无计可施。

 

看光明的一面,这将推动我们作为一家公司,以改善我们的表现。除了有了这个级别的透明度,你别无选择。
既然你正在阅读此文,假设它奏效是正确的。在A/B测试模式下运行我们的产品四个月,我们把客户流失率从2.3%降低至0.5%。

 

最重要的是,A/B测试模式成了我们最有效的销售工具,并成为在客户公司内部展示我们价值的宝贵工具。可以说,我们为市场营销部门提供了一个说服CFO批准预算的有力论据 …在试验期间,我们在50-50模式下运行A/B测试,提供我们的产品所带来影响最清晰简单的衡量。正如前面提到的,一旦客户和我们签约,我们调低对B的比例最低的统计显著,以确保我们的算法的完整效果。

 

我们有一个恒定不变的事实,站点和平台(即所有的客户)正在进行的A/B测试的事实使我们的算法不断提高。通过这样做,我们给当前和未来客户提供了一个稳步增长的附加值,使得我们可以互相受益,我们创建了一个自增长的系统。

 

整个过程中,我们的讨论从定价到价值和 ROI 转移。这正是我们想要的,我们感觉最舒适,自信和相关的。

 

本文由 mili @ 吆喝科技编译自:http://hub.brightinfo.com/h/i/294710367-how-we-reduced-churn-from-2-3-to-0-5-using-a-b-testing?utm_campaign=Submission&utm_medium=Community&utm_source=GrowthHackers.com

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

4450 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。