AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

小尾巴翻译官登录界面优化

公司简介

小尾巴翻译官是由专业提供语言翻译服务的传神公司开发的一款在线翻译APP。不同于市面上其他的翻译类APP,小尾巴翻译官采用专人在线一对一的方式,帮助用户解决语言问题。目前支持11种语言的在线即时互译,用户只需选择好互译的语言,最多30秒就可以接通专业译员。它是基于全球的准入、服务体系的建立和用户需求的完善、译员的匹配等新形势下,完成的一个全新产品。除此之外,从物品的文字说明书,到与旅行中当地人的沟通,或是其他翻译书写的零散场景,都可以通过小尾巴翻译满足使用需求。

 

案例背景

随着用户量的不断增大,小尾巴翻译的产品经理更加注重对用户数据的管理和科学应用。起初从方便用户快捷登录的角度出发,产品部门采用了相对简单的登录方式,即手机号码+验证码快速登录。但是考虑到用户一旦流失,市场做用户召回没有线索可以追踪,所以产品部门希望重新设计用户登录界面。一方面能够有效的把用户数据进行分类管理,另一方面也可以促进线上营销的转化。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察客户对多个优化方案的数据反馈。同时,根据试验的数据发现用户反馈效果最好的版本,作为最终的新版本迭代方案。

基于现有登录逻辑,产品部门设计试验方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:用户无需绑定手机号就可以登录APP,分为三种登录方式;

试验版本:合并两种登录方式,且用户必须绑定手机号才能登录APP。

同时,设置核心优化指标为:第三方登录、账号密码登录、验证码登录、登录成功率。

 

测试目标

本次试验的主要目的是针对两种不同的登录界面,通过对比试验数据,判断最终哪个版本会带来更高的用户成功登录率。

 

A/B测试数据反馈

此次试验在嗨住小尾巴翻译的iOS端和安卓端进行,累计运行了30天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对试验数据进一步分析后,产品部门得到了科学可信的数据结果。

-无论是IOS还是安卓,相比原始版本,试验版本登录成功率表现较差,其中IOS差别最大,登录成功率显著降低25%;但是针对“账号登录”和“第三方”登录数据,试验版本的表现都远远优于原始版本,至少提升了180%;

-在关注用户登录成功率的同时,产品部门也会关注一下用户留存的情况,跟登录成功率不同的是,用户留存的数据是试验版本略胜于原始版本;

-经过综合考量,虽然针对登录成功率这个指标,试验版本不如原始版本,但是绑定用户手机号是产品优化的刚需,并且通过留存率可以看出通过绑定手机号登录的用户留存也较高,所以产品部门决定继续对登录界面做优化,吸收原始版本中好的地方,设计一版新的登录界面进行A/B测试,直到找到最优解决方案。

4239 Views
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。