AppAdhoc A/B Testing客户案例
用A/B测试持续提升产品
公司简介
坏男孩是中国最大的男性情感社区,专注于为男性同胞提供情感问题解决方案和自我魅力提升服务,帮助他们提升个人魅力和恋爱效率,并通过在线技能教育、IP(知识产权衍生产品)、生活模式消费引导、媒体和秀场直播去服务广大更年轻的用户。作为亚洲最先进的追女生社区,产品有超过600万男孩使用,它帮助男生解决如何追女孩、找到女朋友、挽救破裂的婚姻、爱情,以及如何跟女孩聊天、约会恋爱、搭讪表白等情感问题。
案例背景
在坏男孩App中,“干货详情”是产品的的最主要功能。产品部门希望用户在这里创造更多的价值,让更多的用户获取更多的PUA文化、知识以及技巧,真正成为一名“把妹达人”。在这个阶段他们想做一些尝试来提高与用户的互动;从而进一步通过这个功能产生更多转化,所以他们把目光投向了A/B测试。A/B测试是国内外成功互联网企业的创新标配。不论是FLAG还是BAT等互联网巨头都将A/B测试应用到了极致,而且以较小的风险和成本从中获得巨大的收益。坏男孩也希望借助科学严谨的A/B测试提升产品,打造更好的用户体验。
测试方案
AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,使企业可以在新版本上线之前,以最低成本观察用户对优化改版方案的数据反馈。同时,根据试验的数据发现用户反馈最好的版本,作为最终的新版本迭代方案。
坏男孩的产品部门在与AppAdhoc A/B Testing的客户成功部门沟通讨论后,决定从“干货详情”页面入手,设计一系列的试验,从封面图片的位置、点赞/已点赞、留言评论的交互方式以及页面文字的格式等方面进行各种试验方案的组合。具体试验方案设计如下:
相比原始版本,试验版本的改动主要在于:
-干货详情文章排版调整:更改字间距、将干货封面下调至标题下方;
-点赞样式更改:优化默认点赞和已点赞页面样式;
-底部bar优化:规范收藏数据显示,突出留言功能和精选评论定位。
同时,结合这些试验变化的元素,将“评论”、“收藏按钮”以及“获取导师微信号”等按钮的实际转化作为试验指标。
测试目标
本次试验的主要目标是,通过对“干货详情”的页面规范调整,对比优化前后的功能使用数据,找到用户体验更好的版本,作为下次迭代的优化方案。
A/B测试数据反馈
此次A/B测试在iOS端进行,试验周期为两周左右(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周)。在对数据进行分析解读后,产品部门得到了科学的试验结果:
-试验版本胜出,优化底部UI后的试验版本的评论率、加微信率、还有收藏率均得到了显著的提升,其中干货详情页的优化带来加微信率提升高达88%;
-学员添加导师微信,对于学员来说能够更好的获取知识以及学习技巧,在迈向“把妹达人”的路上更进一步;对于坏男孩产品本身来说,不仅提升了用户的使用体验,这一行为更是用户付费转化的重要环节,进一步验证了自己的商业逻辑;
-试验过程中,吆喝科技的A/B测试后台提供了科学的数据支持,同时富有经验的客户成功团队在优化建议、试验设计等方面为坏男孩的产品团队提供了贴身的服务与支持,帮助他们通过先验性的试验来支持决策、驱动优化与增长。