Netflix利用A/B测试提高内容利用率

A/B测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用A方案,另一部分用户使用B方案,记录下用户的使用情况,看哪个方案更符合设计。当前,A/B测试已经逐渐成为产品与运营检测产品如何一步步提升留存和收入的重要方法。有效利用A/B测试,也可以快速告诉你多个方案中哪个方案更有效,省去你构筑方案中遇到的种种麻烦。

Netflix 利用A/B测试提高内容利用率

对于内容类网站和APP,推荐内容的压力每天都在增加。尤其是花了大价钱在自制剧、购买版权、限时分成、保底买断方面的视频网站,他们最应该担心的就是内容利用率过低——比如首页和分类页点击率不足、比如用户只能通过搜索才能找到好内容、比如内容订阅率太低或者回访率太低。一向自称“我们是一家技术公司而不是电影公司”的Netflix在这方面称得上业界良心,尤其是对首页的有效利用堪称一绝。

 

新用户登录时看到的Netflix首页,推荐的内容是Netflix的常青王牌剧《纸牌屋》。

1

笔者第二次访问时看到的Netflix首页,首页从常青剧换成了新剧《怪奇物语》,可以看到根据一些用户习惯,下面的Netflix独家内容开始出现了一些倾向。

2

别人的账号里在同一天看到的首页完全不同,看到的是脱力喜剧《福是全家福的福》。

3

切换为儿童账号后:

4

未登录之前的首页,强调的是海量内容。

5

在成为以个性推荐知名的产品之前,Netflix深知,获取用户的信任不是一件简单的事。

 

Netflix的工程师Gopla Krishnan在自己的博客上记录道:

一个产品功能或内容,如果无法在90秒之内获取一个用户的注意,用户很可能就会失去兴趣,并且转向其他行为。这些问题如果反复发生,可能是因为我们没有为用户呈现正确的内容。如果回溯原因,则是因为我们没有足够的根据,证明用户为何喜欢某一个内容,因此没有用正确的思路去呈现内容。

 

于是Netflix在2013年做了一次大规模的A/B测试(实际上是A/B/N测试),看看围绕同一部电影,他们是否能够在海报上做些个性化文章,提高转化率。

6

图1是默认海报,图2提高了14%的点击率、图3提高了6%。

 

Netflix 随后开发了一个系统级方案,可以自动将节目图片根据不同的宽高比、裁切效果、修饰程度、本土化元素等维度进行分组。他们把这套方案逐渐应用到越来越多的节目上,跟踪相应的用户点击转化率,以下是一些例子,绿色箭头是用户转化率较高的内容:

7

9169 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。