AppAdhoc A/B Testing客户案例

用A/B测试持续提升产品

坏男孩Android首屏版块优化

公司简介

坏男孩是中国最大的男性情感社区,专注于为男性同胞提供情感问题解决方案和自我魅力提升服务,帮助他们提升个人魅力和恋爱效率,并通过在线技能教育、IP(知识产权衍生产品)、生活模式消费引导、媒体和秀场直播去服务广大更年轻的用户。作为亚洲最先进的追女生社区,产品有超过600万男孩使用,它帮助男生解决如何追女孩、找到女朋友、挽救破裂的婚姻、爱情,以及如何跟女孩聊天、约会恋爱、搭讪表白等情感问题。

 

案例背景

之前的A/B测试中,坏男孩的产品部门以较小的风险和成本,验证了许多优化想法,也打造了更优越的用户体验。此次,他们希望针对安卓端用户,进一步强调“干货”在APP中的核心作用,帮助用户掌握在不同场景下的追女孩技巧,真正成为一名“把妹达人”。

 

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察用户对优化改版方案的数据反馈。同时,根据试验的数据发现用户反馈最好的版本,作为最终的新版本迭代方案。

针对现有安卓端产品页面,产品部门希望通过增加“首屏推荐栏”,进一步优化体验,促进用户对不同场景的干货内容阅读。于是,他们设计试验方案如下:

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

原始版本:用户登录选择兴趣类型后,访问一致的页面内容,首屏顶部有不同版块入口;

试验版本:在首屏顶部的版块入口上方,增加“首屏推荐栏”,用户登录后,将根据所选兴趣类型推荐不同匹配内容;同时,添加“分手挽回、狙击真命、聊天、约会”等不同追女孩干货版块。

为了验证所添加栏目对APP整体活跃度的影响,产品部门设定以下试验指标:人均干货浏览量(验证是否增加了干货的总浏览量);首页干货浏览量(验证对首屏干货浏览的影响);分类页干货浏览量(验证分类页干货的浏览情况);精选页面PV(验证用户是否更愿意看干货);同时,观察产品留存数据的变化。

 

测试目标

此次试验的主要目的是,验证增加首屏推荐页和顶部场景化栏目是否对用户体验有积极作用,从而进一步提升用户在产品中的阅读浏览量,优化整体活跃度和用户体验。

 

A/B测试数据反馈

此次A/B测试在Android端进行,试验周期为12天(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。经过对试验数据的分析解读,产品部门验证了此前的想法:

-试验版本胜出,各项指标数据明显优于原始版本;

-其中,人均干货浏览量增加5倍,在各类干货模块中,人均浏览篇数升至9篇,精选模块PV也提高了7%[+4.4%,+9.5%],产品次日留存也达到43%;

-尽管“首页干货浏览量”这一指标有下降趋势(45%),但干货分类页面的出现,使新用户向场景化更加明确的版块集中(试验结束后一周干货新用户比测试前增加75%);

-基于试验版本的整体数据表现,坏男孩的产品部门最终决定全量推广该版本,进一步优化安卓端的用户体验。

2565 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。