如何用 A/B 测试驱动产品增长？
本文来自作者 陈冠诚 在 GitChat 上分享 「如何用 A/B 测试驱动产品增长？」，「阅读原文」查看交流实录。
「文末高能」
编辑 | 哈比
一、什么是 A/B 测试？
随着移动互联网流量红利、人口红利的逐渐衰退，越来越多的产品运营开始关注数据驱动的精细化运营方法，期望通过精细化运营在一片红海中继续获得确定的用户增长，而 A/B 测试就是一种有效的精细化运营手段。
简单来说，A/B 测试是一种用于提升 App/H5 产品转化率、优化获客成本的数据决策方法。
在对产品进行 A/B 测试时，我们可以为同一个优化目标（例如优化购买转化率）制定两个方案（比如两个页面），让一部分用户使用 A 方案，同时另一部分用户使用 B 方案，统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策。
2008 年奥巴马竞选美国总统的时候，有一个互联网团队专门负责竞选相关活动的线上产品，例如奥巴马的竞选募捐网站。这个网站最核心的目标是：让网站的访客完成注册并募捐竞选资金。
这个团队当时做了一个非常成功的实验：通过对 6 个不同风格的主页进行 AB 测试，最优的版本将网站注册转化率提升了 40.6%，而这 40.6% 的新增用户直接带来了额外的 5700 万美金募捐资金！
对于互联网产品来说，通过 A/B 测试提升点击转化率，优化获客成本已得到越来越多的关注。
以获客环节为例：许多产品都会在百度、头条等渠道投放落地页广告，以完成新用户的注册转化，而落地页效果的好坏，会直接影响转化率和获客成本。
以每月 200 万投放费用为例，如果通过 A/B 测试将落地页的注册转化率有效提升 20%，相当于每月能多获得价值 40 万推广成本的新用户。
那么，产品什么时候需要做 A/B 测试呢？一个 App 在做版本迭代更新的时候，所有的功能都需要做 A/B 测试吗？
根据 Testin 合作的大量 A/B 测试客户的实际经验，一个产品在遇到 “影响大，选择难” 问题的时候，是最适合做 AB 测试的。
以广告投放的落地页为例，随着流量红利的结束，落地页的投放成本越来越高，落地页转化率效果的优劣影响也变得越来越大；
与此同时，不同设计风格、不同布局的落地页之中到底哪个转化率最高，往往是一个困难的选择题。
在 “影响大，选择难” 这两个条件都符合的情况下，落地页的 A/B 测试也就成了一个必然选择：因为 A/B 测试带来的收益会远高于 A/B 测试的实施成本。就像之前提到的奥巴马竞选网站首页的 A/B 测试一样，5700 万美金的收入收益远高于整个实验的成本。
那如果我们在落地页中不使用 A/B 测试，而是根据经验，直接上一个落地页呢？在回答这个问题之前，我们先来看看我们在做产品决策时，常面临的一些挑战：
产品优化依靠经验主义，不能保证新的产品版本一定会有业绩提升；
重大产品功能很难决策，不确定哪个方案效果最优；
“后验” 成本高，如果改版失败，业绩损失无法挽回。
从这些挑战中我们可以看到，如果我们在产品上线时不做 A/B 测试的话，一方面不能保证上线的版本转化率等指标一定是最优的，其次还面临着因产品改版失败带来的用户流失、业绩损失的风险。
实际上，随着业务的发展，产品迭代体系的逐渐成熟，新功能上线时必须做 A/B 测试的紧迫性会越来越高，因为改版失败的风险越来越大，而用户的习惯也越来越难以捕捉，所以 A/B 测试的必要性会越来越高。
让我们来看一个真实的例子。
下面这幅图，反应的是微软 Bing 搜索引擎从 2008 年到 2015 年每周 A/B 测试频率的增长情况。在 08 年 Bing 上线的初期，每周整个搜索引擎大约做 20-30 个 A/B 测试实验，而到 15 年之后，整个搜索引擎每周的 A/B 测试实验个数已经多达 400 个。
从 14 年到 15 年，Bing 移动端产品的 A/B 测试频率也增长（图中绿色曲线）到了每周近 100 个实验。由此可以看到，随着产品业务和用户量的增长，对 A/B 测试的需求也会随之增长，由数据来做科学决策的必要性也随之提升。
二、A/B 测试最佳实践
一个产品运营团队，在实际推进 A/B 测试的时候，会遇到多方面的挑战。从 Testin 实际合作的 AB 测试客户来看，我们发现这些挑战可以总结成三个方面的问题：人、业务和工具。
人：
任何一个组织，核心要素都是人。在这个要素中，最重要的就是让整个团队的成员统一思想，想明白诸如 “什么是 A/B 测试？”，“是否有必要在我们的产品运营中做 A/B 测试？”，“怎么做 A/B 测试？”，“如何衡量 A/B 测试的价值和效果？” 等等相关的问题。
业务：
在一个具体的业务场景中，我们最关注的问题往往是如何将 A/B 测试在业务中的价值最大化。
这个时候，产品运营比较关心的问题是 “在已有的产品迭代流程中，如何低成本高效率地引入 A/B 测试？”，“如何在有限的资源投入情况下，最大化提高 A/B 测试的收益？”，“如何推进 A/B 测试在团队中的应用？”，“A/B 测试的最佳实践是什么？”
工具：
A/B 测试的工具有两种选择：自建 A/B 测试工具，或者与 Testin 云测这样专业的第三方 A/B 测试服务提供商合作。
自建的 A/B 测试工具最大的好处是与企业业务关联度高，这种方式比较适合有强大的数据分析技术研发实力的企业。
而与 Testin AB 测试这样的专业第三方服务企业合作，最大的好处是能高效率、低成本地开展 A/B 测试，把精力专注于自己的业务增长上。
当一个团队具备以上三个要素，开始真正推进 A/B 测试时，最佳的实践流程是怎么样的呢？
如果是初次接触 A/B 测试的同学，可能会有一个误解：“A/B 测试的效果好坏非常依赖灵光一闪的好想法好创意，如果创意好，A/B 测试的效果就好，如果创意不行，那么 A/B 测试的效果就不行”。
这种理解最大的问题就在于，忽略了 A/B 测试其实是有一套完整的方法论和实践流程的。在这套理论体系下，我们是可以稳定地通过 A/B 测试实现产品增长的。
1. 确立优化目标。在图 5 的 A/B 测试流程体系中，首先要做的，就是确立想要优化的 “目标”。在这个过程中，我们建议大家一定要设立 “可量化的、可以落实到某一个具体功能点的、可实施的小目标”。
举例来说，如果一个目标不好直接量化，例如 “将用户满意度提升 15%”，那么就不好形成一个具体的 A/B 测试方案。同理，如果这个目标太大太宽泛，也不好落地。
一个可行的目标可以是 “通过优化注册流程，将注册转化率提升 20%”，这个目标可以量化，而且足够具体，可以在后续流程中形成一系列相关的 A/B 测试实验方案。
2. 分析数据。通过数据分析，我们可以找到现有产品中可能存在的问题，只有先发现了某一个产品环节可能存在的问题，才好在后续流程中提出相应的优化方案，以优化这个环节的转化率。
3. 提出想法。在这一步，我们可以针对数据分析发现的问题，针对性的提出产品优化的方案，例如优化流程以提高转化率，优化设计和文案等等。一般来说，A/B 测试的想法会以 “假设” 的方式提出。
例如，“假设把注册流程中的图片校验码方式，改成短信校验码的方式，我们的注册转化率可能提升 10%”。
基于这个假设，我们会设计对应的 A/B 测试，并通过实验的数据验证这个假设是否成立。在后面的章节我们也会通过更多实际的 A/B 测试案例来跟大家分享一些相关经验。
4. 重要性排序。在开发资源、版本排期、优先级等因素的制约下，我们很可能不能对所有的想法进行实验。
在这一步，最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进行优先级的排序，并选择最重要的几个想法进行 A/B 测试。
5. 实施 A/B 测试并分析实验结果。对于一个 A/B 测试来说，结果主要分成两种：有效和无效。
无效的 A/B 测试实验对于团队来说，其实是非常宝贵的经验，这个时候我们可以把这些无效的实验转化成团队的经验，避免以后再犯同样的错误。
而对于有效的 A/B 测试来说，我们成功通过实验提升了产品的转化率，这时我们可以把优胜的版本正式推送给全部用户，以实现产品用户的有效增长。
6. 迭代整个流程，进行下一轮 A/B 测试。
在这个流程中，最重要的就是迭代、迭代再迭代。尤其是在刚开始推行 A/B 测试的时候，很容易遇到 “团队成员经验尚浅，不确定哪些产品功能点做 A/B 测试效果会比较明显” 的问题，往往需要一些 quick wins 去建立团队对 A/B 测试的信心。
这个时候，比较有效果的办法有两种：一种是针对一些转化率相对较低、很有可能通过改版获得提升的产品功能点，精心设计 A/B 测试实验，一般都会有比较明显的效果；
另一种是快速地做一批简单的 A/B 测试实验（例如修改关键按钮的文案，颜色，图标等），只要其中有一部分实验取得了成功，就能很好的在团队内部推进 A/B 测试的实施。
像 Testin AB 测试产品提供了业界首家针对 App/H5 的可视化编辑功能，可以对按钮、图标等控件进行 “所见即所得” 的可视化编辑，实现文案、图标的实时修改，而且无需应用市场审核，可以即时更新，非常适合快速地进行简单的 A/B 测试实验。
某国外大型互联网公司分享过一个有意思的数据，在他们进行过的数千个 A/B 测试实验中，只有大约 1/3 的实验取得了正面提升。
这个数据说明了一个很有意思的现象：“产品经理的很多想法，其实不符合预期”，这也是为什么需要通过 A/B 测试的真实实验数据来进行产品决策的原因。
读者福利：感兴趣体验 Testin AB 测试产品的同学，可以访问 ab.testin.cn 申请价值 5000 元的免费试用：）
三、A/B 测试案例剖析
我们通过一些真实的案例，来分析下 A/B 测试的实际应用。
案例 1：App 注册流程改版
让我们先来看一个注册流程的 A/B 测试。这个产品原始版本的注册流程使用了图片校验码的方式，但是注册转化率偏低。于是产品经理提出一个设想：如果把图片校验码方式改成短信校验码的方式，有可能因为降低了用户输入的难度导致注册转化率的提升。
带着这样的假设，他们设计了如下图所示两个版本的注册流程。
通过使用 Testin A/B 测试产品，分别为两个版本分配了 20% 的用户流量，通过一周左右的实验观察，数据显示新版本（短信校验码）的注册转化率提升了接近 10%，并且 95% 置信区间是 [8%, 12%]，说明这个实验版本推广到全量用户之后，95% 的概率下至少会有 8% 到 12% 的提升。
基于这个实验结果，产品经理选择将新版本注册流程推送给全部用户，显著提升了注册转化率。
案例 2：App 首页大改版
首页大改版对于一个产品来说，无疑满足 “影响大，选择难” 两个必要条件。在下面这个 App 首页改版的例子中，新版本的首页布局发生了多处改动：例如改动了 4 个子栏目、新增了一个 banner，更改了类目展示方式。
对于一个 App 来说，首页的改版属于非常重大的产品变动，稍有不慎就可能对现有用户体验造成很大的影响，如果改版失败，会直接导致成交额、用户点击转化率、留存率的下降。
正因为影响重大，同时又不确定新版本是否能提升业绩，所以 A/B 测试在这种场景下是非常必要的。
产品经理进行这样的大改版，核心目的主要是为了提升首页向二级页面的点击转化率，并最终促成更高的成交转化。
在这个实验中，因为有多个首页模块发生了变动，我们需要为不同的首页模块分别设置对应的指标，以对比两个版本首页向二级页面的转化率优劣。
通过 A/B 测试平台将两个版本用户流量分别设置为 10%，并运行 2 周实验之后，实验数据显示新版本首页向二级页面的整体点击量提升了 12% 以上。
通过 A/B 测试，产品经理成功验证了新版本首页达到了预期的优化目标，之后就可以将新版本发布给全部用户了。
四、总结
在这篇文章中，我们首先简要介绍了 A/B 测试的概念，并分享了 A/B 测试的最佳实践流程以及 A/B 测试的具体案例。
在实际的产品优化迭代过程中，A/B 测试会贯穿整个产品方案的设计、实验、数据验证等整个迭代流程。
在整个产品运营的增长过程当中，A/B 测试最核心的价值就是利用数据来支撑决策，以获得产品用户增长。
通过数据分析来发现产品增长的问题，再通过 A/B 测试来解决产品增长的问题，会成为越来越多企业进行产品用户增长的不二选择。
受限于篇幅，本文未深入讨论 A/B 测试的一些相关知识，例如分流算法、统计算法、95% 置信区间、统计显著性等等。如果对这些内容感兴趣的读者，欢迎加作者微信交流：threadingnow
参考资料
A/B 测试那些事：https://zhuanlan.zhihu.com/abtesting
Testin AB 测试官方博客：http://ab.testin.cn/blog/
Exp Platform: http://exp-platform.com
近期热文
《哈佛研究：9个让你变穷的理由》
《PHP 程序员危机》
《知名互联网公司校招 Java 开发岗面试知识点解析》
《从零开始，搭建 AI 音箱 Alexa 语音服务》
《修改订单金额！？0.01 元购买 iPhoneX？| Web谈逻辑漏洞》
《让你一场 Chat 学会 Git》
「阅读原文」看交流实录，你想知道的都在这里