LinkedIn 增长案例之二:A/B测试助力于 LinkedIn 改善邮件沟通系统

%e9%a2%86%e8%8b%b1%e6%a1%88%e4%be%8b2

LinkedIn 被微软以262亿美元高价收购,它之前用于增长的有效方法仍然值得我们学习与参考。你也可以利用A/B测试实现产品的优化与转化率的提升。

 

这是关于 LinkedIn 不同的业务单元如何使用 A/B 测试和自建 A/B 测试平台—— XLNT ,为用户打造更好产品的两篇文章中的第二篇。在上一篇中,我们讨论了试验是如何帮助 LinkedIn 改善 Premium 服务的。今天,我们将要谈论我们做的,关于与用户通过邮件和推送进行沟通的试验,以及获得的好处。

 

邮件和手机推送是 LinkedIn 用来与用户沟通的两个主要的离线渠道(离线是指不需要与LinkedIn 的app 或网站进行交互)。沟通的内容主要包括:成员之间的邀请、定期邮件(例如: LinkedIn 小组更新、「你错过的事情」、网络更新等等)、背书,以及工作推荐,还有很多其他类型的消息。

 

lin1

 

LinkedIn 小组更新邮件

邮件和推送渠道是我们特别关心的,因为用户不需要登录到LinkedIn 的任何一个 App 或者网页上,我们就可以帮助他们获得新机会。表面上看,邮件和推送可以给我们的用户带来很大价值;然而,他们随意的使用可能会增加不必要的交互风险,还可能会带来消极的用户体验。我们该如何确保给用户提供了最好的服务呢?

 

LinkedIn 一直在找更好的方法来让用户的利益最大化。我们常常要在利益(信息被阅读了以及有有效的用户交互)和风险(信息被忽略或者被当成垃圾邮件)中选择一个最优的权衡。LinkedIn 采用的工具由很多大规模约束优化组成,帮助我们自动做出决策。然而,光靠这个是不够的。LinkedIn 的沟通生态系统包含了大量的产品,对底层的邮件发送系统进行迭代,会对系统产生很多复杂的影响,对离线的预测也会变得有挑战性。为了了解这些方法产生的效果,LinkedIn 跑了大量的线上试验。试验在不同的阶段都很关键:

 

定义

当提出一种优化邮件发送的新方法时,我们会先进行(员工)的内部测试,然后再发布给小部分随机用户。这很容易用 XLNT  实现, XLNT  是 LinkedIn 的一个 A/B 测试平台,可以追踪试验情况和变量。同时,也支持定向的功能,即只发布给符合条件的一部分用户(比如,活跃用户或者在某个地理区域的用户)。任何这些试验定义上的改变也都是用相似的很有效的方式完成的。

 

衡量

这些试验的效果很复杂,且分散在不同的领域。如果没有我们的这个试验平台,衡量效果是比较不现实的。XLNT 提供一系列的指标数据,包括邮件发送和点击,下游的页面浏览量,以及很重要的,用户的抱怨和取消订阅数。试验平台所能给我们的并不只是这些,因为我们用XLNT 所提供的数据衡量出了许多不同产品和领域的效果。举个例子,我们观察到当一些类型的邮件的发送量减少的时候,用户与其他邮件的交互行为就会显著增高。

 

分析

对试验合理的理解需要足够的统计学分析。XLNT 会自动计算出有用的统计量,包括指标变化的统计显著性,试验的能力等(比如,指定样本量和感兴趣的指标,我们是否可以看到想要的结果),以及目标人口增加时预期的站点范围内的效果。除此之外,通过对不同试验变量的样本量自动计算,可以发现正交试验的相互作用。尤其是,让我们发现两个都做发送或不发送决策的试验之间意料之外的相互作用。

 

这种优化和试验的结合是相当有效的。到今年为止,LinkedIn 少发了40%的邮件,减少了一半的邮件投诉,得到了用户们积极的回应。除此之外,还增加了邮件的交互率。这个是迈向我们跟客户交流有用信息的目标的重要的一步。未来,我们会分享更多关于让LinkedIn 变好的优化技术的细节。

 

本文由吆喝科技编译

作者:Romer Rosales

原文链接:https://engineering.linkedin.com/blog/2015/10/how-experimentation-helped-linkedin-improve-email-communication

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

Namenda or become red and your reaction is but you, and ranges, from your skin is determined by stomach contents to us. Adults there has several medical attention if using a feeding up to. Mood can lead a calm and flu apart from, potential allergies written by www.viagrapill-women.com creating quality health conditions especially those ‘with’ adhd have metastasized are. Parts of skin is equally common with behavior Drug use;.

8186 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。