8000万精准用户,3000万月交易额,这家做情侣服务的互联网公司用A/B测试让爱情更美

%e5%90%88%e4%bd%9c%e5%9b%be

幸福路上没有A/B测试,而记录幸福的小恩爱可以

一说起为什么要用吆喝科技的 A/B Testing ,小恩爱的产品负责人 Pin Xu 就会表情半严肃的说“因为情怀”。“人生没有A/B测试,做产品可以”这是吆喝科技创始人及 CEO 王晔博士讲过的一句话,这句话打动了 Pin ,最终打动了整个团队。

 

“大家都知道,小恩爱是一个有情怀的产品,这不是炒作的噱头,而是我们一直脚踏实地在做的事。如果我们讲的‘情怀’可以用数据衡量,那么从2011年至今,小恩爱一共记录了超过8000万情侣用户的恩爱瞬间,传递了大几十亿次的情语缠绵。我们一直在尝试通过互联网和技术,让所有情侣的每个恩爱瞬间更完美。”小恩爱产品负责人补充道:“幸福的路上没有A/B测试,记录幸福的小恩爱可以。”

小恩爱,用A/B测试促成这世间更多的幸福,更多的美好

正是始于让更多的年轻情侣,不止是在小恩爱上记录爱情的点滴,也让这份爱情开花结果的概率更高,小恩爱跟吆喝科技“牵手了”。

 

提到这次牵手,王晔说:“吆喝科技和小恩爱这两家做技术做产品的互联网公司,因为初心走到了一起,吆喝的初心是通过A/B测试,让产品更好;我所理解小恩爱的初心是通过产品让爱情更好。吆喝科技的A/B测试目前已经实现了月均覆盖1.6亿+独立设备和超过6000次A/B测试试验,我们有能力和小恩爱一起去见证更多的爱情,用A/B测试促成更多的幸福,更多的美好。”

每一刻恩爱的瞬间,都不应被网络的不畅所阻挠

小恩爱通过 AppAdhoc A/B Testing 发现了 HTTPDNS 技术存在的问题,有效的避免了全量上线可能导致的网络风险。

 

做过 App 产品的在一定时期都会遇到服务器域名劫持的问题,这个问题技术上不难解决,但是技术解决方案是否全量上线却是大多数产品技术团队很头疼的问题。小恩爱也遇到了这个问题,那么它们是怎么解决的呢?

 

“我们产品部门收到很多用户反馈:在应用内进行部分操作时频繁接收到‘网络不给力’的错误提示,这在很大程度上影响了用户体验。经过技术排查分析后,产品技术部门发现由于域名遭到劫持,部分用户在使用过程中发出的请求无法到达产品服务器,造成了错误反馈。为了解决这一问题,我们技术的同事建议将域名进一步处理,在本地把域名处理成 IP ,这也是大多数公司解决这个问题的常见做法。”

 

小恩爱在解决这个问题上为什么做的比别的产品好?小恩爱产品负责人补充道:“对一个有8000多万用户的产品来说,产品的每一次决策,都会影响到大量的用户,任何错误,都可能产生不可估量的影响。考虑到网络环境比较复杂,直接全量处理可能引发全站的网络错误问题,这样会带来巨大的风险。因此,我们产品部门决定用吆喝科技提供的A/B测试解决方案,用用户数据反馈验证通过 HTTPDNS 技术处理域名的实际可行性。”

1)通过 AppAdhoc A/B Testing 的科学流量分割机制,在 Android 和 iOS 端分别运行对应的不同版本后,实验版本线下收到用户反馈“网络不给力”的数量明显减少。

2)但试验数据的统计结果显示,该版本的网络请求错误数略大于原始版本。

 

“尽管线下收到网络不给力提示的反馈数量降低,但考虑到试验结果以及这个功能对整体用户体验的重要影响,我们产品部门决定暂时不发布试验版本;并继续对 HTTPDNS 技术进行深层优化,后续还会继续用A/B测试来验证这项功能的稳定性及对整体用户的影响。A/B测试,帮我们规避了技术方案不成熟就全量上线可能导致的网络风险。”

小恩爱上的情侣们不应被“乱入的广告”打扰

小恩爱通过 AppAdhoc A/B Testing 检验了网络请求在 HTTPS 协议下的用户使用情况,有效防止了产品页面数据被篡改的危机,用户体验得到进一步优化。

“我们不定期在应用内办一些活动,并通过 H5 页面落地实施,几次活动后,我们发现活动页面中不少用户会看到莫名其妙的广告,这严重影响了用户体验。通过技术排查,我们发现是网络请求在 HTTP 协议下,活动页面的数据被篡改的几率较高, H5 页面被劫持并植入广告。” Pin 说:“相较之下, HTTPS 协议可以更有效的防止页面数据被篡改。但考虑到网络环境比较复杂,如果直接全量发布遵循 HTTPS 协议的产品,可能会引发全站的网络错误问题,所以我们决定用A/B测试来验证 HTPPS 协议的实际可行性。”

通过试验的后台数据统计发现, HTTPS 协议的错误请求数明显低于 HTTP 协议的请求数据,用户看到广告的数量明显减少,并且没有新的网络使用问题反馈出现。

最终,采用 HTTPS 协议的试验版本全量发布,用户体验得到进一步优化。

其实A/B测试,不只是 A/B

王晔讲:“吆喝科技在为小恩爱提供的A/B测试解决方案中,都采用了科学的试验流量分割机制,让A/B测试不只是 A/B 。科学的流量分割使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量,这样在新版本上线前,就能以最低成本观察到用户对多个优化方案的数据反馈。”

 

对所有产品来说,在全生命周期中进行A/B测试都是必要乃至必须的。每每提到A/B测试,王晔博士,这位曾在 Google 负责广告质量与移动广告新产品等设计研发的技术大拿就异常兴奋“大公司需要A/B测试,小团队同样需要。创业团队在实践最小可行化产品的时候就应该采用A/B测试,这样能确保在产品的一开始,所做的产品决策都是正确并能及时的调整;对更大规模的公司来说,产品往往已经有了百万千万级的用户,这个时候产品决策更应该是数据驱动、 A/B测试驱动的,毕竟顶级的 PM 也只能跑赢一半的A/B测试, A/B测试能做的不止是转化率上提高了几个百分比, A/B测试更是规避产品决策中负效“蝴蝶效应”的有效手段。”

 

恩爱不小,这一次,吆喝科技与小恩爱用A/B测试让更多的恩爱发生。

 

吆喝科技:国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

6040 Views
即刻实践文章理论 A/B测试 灰度发布 产品优化 免费申请
Please wait...

订阅我们

对于每位订阅读者,每两周,吆喝科技会为您发送4篇精选文章,可能是最新的A/B测试实践,也会是你所期待的增长干货。