如何对小程序的A/B测试“在行一点”? |TestinAB测试

在行一点:你的人生攻略

2月6日,果壳网及在行分答创始人姬十三宣布“分答”正式更名为“在行一点”。在行一点致力于为你提供“人生攻略”。你可以在这里获得2万多名“行家”的亲身指点,每天进步一点,每天更在行一点,早日实现你在职场、财务、健康、兴趣上的各种小目标。

「我最在行」小程序

「我最在行」是在行新推出的在线知识对战平台。作为微信第一个分擂台的知识对战游戏,「我最在行」中设置了类型众多的知识竞赛项目,如诗词、历史、音乐、全能王等等知识擂台赛,你可以选择一个自己擅长的项目来进行挑战,并且获得荣誉排名,以及金钱奖励。与其他竞赛类特点的不同之处是,在果壳网、科学松鼠会以及在行等社区知识沉淀下,各题目的分类与用户的分类更具针对性和专业性。

也许是史上第一个做A/B测试的小程序

APP的流量红利期已经过去,现在的获客成本普遍较高,相比之下,微信小程序的获客成本就要小很多。因此,在行一点团队在2018年策略上,选择对小程序发力,吸引更多流量进入。

小程序上线运营的过程中,如何确保其样式、功能、流程等设计,都能令用户满意,是能否吸引到更多流量、更多用户的关键问题。因此,在行团队需要使用A/B测试来帮他们选出最优版本,从而不断优化产品。早在“分答”时期,在行一点就与Testin Data建立了商务合作关系,其多条产品线、业务线分别进行了A/B测试的体验、尝试,故而分答团队对A/B测试在增长中的价值有着深刻的理解。所以,从小程序上线的第一天起,产品负责人朱晓华就已经开始着手准备相关实验了。这也与其团队始终坚持精益求精的产品打磨态度有关。

而Testin,作为在行的长期合作伙伴,在支持“在行一点”APP、H5主站A/B测试的同时,也随着小程序的上线,同步支持着「我最在行」小程序的各项A/B测试。

「我最在行」小程序A/B测试案例

在为期数月的小程序A/B测试中,在行逐步挖掘着用户的价值,不断构思新的A/B测试方案,并陆续收获了不少的成功实验。

实验一: 首页用户画像入口文案

这是在行团队在小程序A/B测试方面的第一次探索。实验本身很简单,只是在文案方面进行 了一次修改。这种修改,比较方便快捷,代码上的改动也不复杂,因此只要方案、想法够多,就能够快速进行大量A/B测试实验。

在行从这部分入手小程序A/B测试,不但能熟悉实验流程,更能对首页这种大流量的位置进行关键功能的实验,为日后的增长带来了可能。

(实验一中的原始版本、版本一)

该实验虽然是在行的第一次小程序A/B测试实验,但是却意外收获了不错的结果,新版的点击率比原版要高10%左右,反映出了小程序广阔的测试前景,也激励着在行团队进一步的A/B测试。这个实验结束不久,在行团队就设计并实施了第二个文案方面的A/B测试——

实验二:挑战题答题后三种文案测试

有了第一次实验的经验,在行团队就能够更进一步,对促进用户分享的CTA文案进行一些调整。分享功能,一向被认为是AARRR模型中最后一环节:自传播(Refer)的重要手段。因此,提高用户的分享意愿,直接关系着产品自身的知名度提升、关系着用户群体的扩大。为此,在行设计了三种分享文案,借助A/B测试来选出分享点击率最高的版本。

(实验二中的原始版、新版一和新版二)

作为AARRR模型中相当重要的环节,自传播并不是能轻易实现的目标。转化最高的,是上述中的版本二(第三张图片),只是提升的幅度较小,仅有个位数的增长。效果虽然不是非常明显,但是也为在行日后的实验打开了新的思路——不再局限于文案修改。

实验三:首页挑战题转化率优化

在上一轮实验后不久,在行就展开了第三次小程序实验。为了得到一个具有足够高价值的结果,本轮实验选择了首页主推的“今日挑战”为测试目标。有了前两次的实验经验,在行团队决定,针对该功能的设计进行一次较大改动,添加新的icon,来对比用户的点击率。

(实验三中的原始版、新版一)

结果是显著的:新版(右图)相比于原版,转化率提升了近15%

A/B测试,常见的有修改文案、配图、流程等。其中,改变图片,往往是操作较为简单,但效果又比较显著的一种选择。如果,你想快速高效的进行一次A/B测试,不妨像在行这样,进行图片方面的实验。

小程序A/B测试要点概述

那么,如何给小程序做一个专业的A/B测试?

事实上,无论是给哪个端、哪个产品做A/B测试,都离不开下面这四步:

  • 研究现有数据,并找降低你转化率的问题所在
  • 规划和开发可以做A/B测试的方案
  • 创建测试变量并执行这些A/B测试
  • 分析A/B测试结果并在随后的更多测试中运用分析结果

其中,当你进行了第一步,发现了问题后,又该如何规划和开发方案呢?这里也有一份参考:你可以尝试对小程序中的以下元素调整,从而对不同方面实施A/B测试:

  • 标题
  • 文案
  • 按钮配色
  • 页面布局(排版)
  • 图片
  • 表单

而当你针对那些降低转化的问题,做好了A/B测试的方案以后,你所欠缺的,就只剩下一个数据准确、分流精准、使用方便的A/B测试平台了。线上有很多A/B测试平台可以用,例如在行小程序A/B测试中使用的Testin Data的A/B测试等。

Testin Data.AI 简介

TestinData.AI致力于应用智能,成为产品经理的外脑,让阅读、资讯、知识、工具类App具备个性化智能,让金融、电商、学习、旅行类等商业App具备商业智能,通过机器学习专利引擎对应用(HTML5、移动页面、小程序、快应用、原生App、物联网二维码应用)实时自动优化,使产品、运营和市场人员能够持续、高效提升转化率、ROI和关键经营指标,预测客户的潜意识需求、并即时传递给他们,从而推动可持续进化的商业效益及品牌忠诚度。

TestinData.AI具备实时、持续、智能提升转化率的能力,驱动用户增长,在支持智能优化的同时,也支持用户进行传统的A/B测试,并提供可视化编辑、科学流量分割和专业统计等功能,且允许用户进行私有化部署。

 

在行正在使用A/B测试来为他们的小程序带来更多的增长。如果你想像他们一样,获取更多的流量红利,那么,用Testin Data.AI来做A/B测试,将会是你不错的选择。

 

想用A/B测试轻松为你的产品做转化率优化吗?立即免费注册,开启你的增长之路吧!

本系列案例由Testin AB测试案例研究小组提供。