做决定前别拍脑袋：两个成功案例看懂A/B测试

你的假期已余额不足

这些天你都干嘛了？

宅在家里吃吃喝喝？

去旅游景点看人？

走亲访友接受灵魂拷问？

其实，你的假期可以不那么无聊

这是一个静下心来开启深度阅读的好机会

 

大数据（ID：hzdashuju）在长假期间

将推送6篇入门级科普，包括：

未来世界 | 健康生活 | 电动汽车

无人驾驶 | AI凛冬 | A/B测试

 

在猪年的最开头

来一波高能充电！

今天是我们一起充电的第6天

 

 

导读：数据分析的本质思想就是考据，对事情进行科学考据分析。

 

对待每一个观点，是要经过互相考据，才能成立，而不是自我想象。这种科学的认知机制，同样可以引用到做产品上来，促进产品的务实化。

 

最好的学习方法就是找到方案和原理，然后在具体行动过程中考证。大胆地假设，小心地求证。

 

作者：彭耀

如需转载请联系大数据（ID：hzdashuju）

 

 

01 建立A/B测试

 

我们再来看一个故事。

 

二战时英国空军为了降低飞机的损失，决定给飞机的机身进行装甲加固。由于当时条件所限，只能用装甲加固飞机上的少数部位。他们对执行完轰炸任务返航的飞机进行仔细的观察、分析、统计。发现大多数的弹孔，都集中在飞机的机翼上；只有少数弹孔位于驾驶舱。从数据上说，加固机翼的性价比最高。

 

但实际情况缺恰恰相反，驾驶舱才是最应加固的地方，因为驾驶舱被击中的飞机几乎都没能飞回来。“发声”的数据是最好获取的，但如果没把这些沉默的数据考虑进来，那么这种数据分析是不靠谱的。所以除了数据的结果，还得尝试解读这些数据。而解读数据就完全依赖人了。

 

人们在做出判断的时候，经常只会看见一个局部的点，而错失了真相。大部分的产品认知，和这个故事所阐释的几乎一样，就是人们看到了一点，就做出了一个新的判断，而事实并不是这样。

 

所以数据是一个系统工程，人们在采取行动之前，需要先进行测试。数据分析的方法，也是同样的原理，数据分析实践的四个关键步骤：

 

指标——>假设——>试验——>行动

 

这和做学问的基本原理是一致的。通过打造A/B测试平台，来验证观念。

 

A/B测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。

 

▲用户A/B测试

 

A/B测试的好处，主要如下：

 

1. 消除客户体验（UX）设计中不同意见的纷争，根据实际效果确定最佳方案；

2. 通过对比试验，找到问题的真正原因，提高产品设计和运营水平；

3. 建立数据驱动、持续不断优化的闭环过程；

4. 通过A/B测试，降低新产品或新特性的发布风险，为产品创新提供保障。

 

A/B测试的一般步骤如下：

 

步骤1：找出优化指标

 

要重点关注第一关键指标，要确定优化指标是留存率、转化率、病毒性分享率，还是营收类指标等。这个指标的选择尤其关键，不同指标的选择会导致不同的行动。

 

步骤2：提出假设

 

这种假设，是来自运营，来自增长团队的灵感。可能会是一次具体的推广、一次价格的调整、一个操作的优化、一个界面按钮的位置调整、一个图片的修改、一个文案的推出、一个新功能的推出等。

 

步骤3：创建试验

 

找出目标受众，确定试验内容与试验目标，并且确切地了解到试验的目标能够帮助到他们，对他们是有价值的。

 

以MVP或者在线功能等方式分析试验的结果。

 

步骤4：具体行动

 

当结果清晰以后，就知道试验是不是成功的，如果成功就可以在更大的群体中使用。如果不成功，就继续假设，继续试验。

 

 

02 A/B测试的两个案例

 

我们来看一些具体的示例，看他们是如何建立自己的A/B测试。

 

1. Airbnb数据分析决策实践的故事

 

2007年，住在美国旧金山的两位设计师——Brian Chesky与Joe Gebbia正在为他们付不起房租而困扰。为了赚点外块，他们计划将阁楼出租出去。传统的做法是在网站发帖子，但因为感觉在网站发帖子太冷冰冰了，所以就自己动手建了一个网站。

 

当时城里正好举办一个设计展，周边的旅馆都被订满了。他们便很快搭建好了一个简易的网站，开起了“家庭旅店”的生意。网站上包含地板上摆放的三张空气床垫的照片，以及供应家庭自制早餐服务的承诺。很快他们获得了3个租客，每位支付了80美金。

 

一周后，他们开始陆续收到世界各地人们的电子邮件，询问何时能在世界其他热门旅游目的地享受这样的服务，包括布宜诺斯艾利斯、伦敦、日本。于是他们将这一做法复制到其他大型集会，并允许人们通过信用卡在线支付。

 

在2008年民主党全国集会期间，奥巴马在科罗拉多州的丹佛发表十万人演说。当时全市只有三万余个旅馆房间，于是Airbnb适时地选择再度在公众面前高调曝光，一度获得了极高的流量和关注，促使Airbnb快速发展。

 

但是，发展的过程中并没有那么顺利。在2012年一次产品大会上，产品主管乔·扎德向大家讲述了Airbnb的曲折历程，尤其介绍了公司的专业摄影服务。在发展过程中，Airbnb就是根据数据分析实践的四个环节来试验的，尤其以摄影服务为代表。

 

主要包括如下四个步骤：

 

• 步骤1：找出优化指标

 

Airbnb 想优化的指标是房屋租赁天数。因为只有房屋租赁出去了，对于房东来说，才是最关键的事情。所以就要解决房屋预订量问题。那到底要怎么做呢？不知道。

 

2010年，Airbnb通过数据分析，看到纽约的房源量一直不断增长，但是订单量却没有增长。按正常应该是同比增长，为了找到原因，Airbnb创始人飞到纽约，去找房东一家家沟通，以便找到问题的关键所在。

 

经过交流之后发现，原来房东都是直接用手机来拍摄房子，而且不同人拍的效果也不同，有的比较好的漂亮房子拍出来的效果却很一般，整体的房源照片都不是太好。

 

于是他推断，这有可能是导致用户不选择入住的重要原因。因为现在用户对于居住的要求越来越高，照片如果效果不好，用户的居住意愿就会降低。

 

• 步骤2：提出假设

 

根据实际观察，发现热门租住房屋的照片看起来更专业，常见的投诉是房子的照片和实际上不一样，人们在看了照片之后就放弃了。

 

于是，就有了一个初步的假设，是不是图片越好看，房子租得越好？更深入的一种假设，即“附有专业摄影照片的房源要更抢手”。这一假设出自Airbnb创始团队的直觉，他们感觉专业摄影服务将有助于业务的开展。

 

不过，他们并没有立即将想法付诸实践，而是由主动来分析，以MVP的方式来验证假设。

 

• 步骤3：实验

 

最终方案是由Airbnb一家家去拍成漂亮图片，并标准化尺寸，逐步批量上传到网站上去。MVP最初的测试表明，附有专业摄影照片的房源所获订单数是市场平均值的2~3倍。这验证了创始团队最初的假设。

 

• 步骤4：行动

 

到了2011年下半年，Airbnb雇用了20名专业摄影师，以帮助平台上的房主拍摄房屋照片。几乎就在同一时间段，Airbnb的订单量呈现出了我们常说的“曲棍球棒曲线”式的增长。

 

▲20人的摄影团队加之房主的空闲房屋，订单访问量大增

 

结果是，一个月左右，订单量翻了2倍。就这样以纽约为范本，往各地复制，整个网站的订单量都获得了大幅提升。Airbnb培养了一支专业的摄影队伍，为房源提供了专业漂亮的图片，自此以后Airbnb获得了快速发展。

 

▲Airbnb旅行中，像当地人一样生活

 

七年之后，Airbnb享誉全球，其夜间租住的房间预定量甚至一举超过了酒店巨头希尔顿。

 

Airbnb的数据驱动文化，是提出假设，从假设开始演绎，获得方案，并通过数据来验证，以此来为决策提供依据。每一个决策都应该通过数据来验证。

 

2. Pinterest的数据分析实践

 

Pinterest是美国的一个图片分享类社交网站，Pinterest（Pin+Interest）意为把自己感兴趣的东西用图钉钉在钉板（PinBoard）上，用户可以按主题添加和管理自己的图片收藏，并与好友分享，页面底端自动加载无须翻页，可让用户不断发现新图片。

 

Pinterest就是家庭妇女和欧美主妇的天堂，它是一家以兴趣为基础的社交网络，通过图片墙Pinboard发布图片。Pinterest以图片瀑布流展示图片。2011被评为“美国最受欢迎的十大社交网络”，并以月增长45%的速度赶超Google+，成为了2011年美国社交网络中的一匹黑马。

    

▲Pinterest手机端

 

作为一家数据驱动的公司，Pinterest非常依赖试验来指导产品和功能迭代。Pinterest建立了一个支撑日均1000+次试验的A/B测试平台。随时都有大约1000个试验在进行，并且试验的数量每天都在增加。

 

因为试验数量和相应记录数据的持续增加，为了让试验更加简单方便，于是向工程师提供一个可靠易用的A/B测试平台。 

 

测试平台可以达到如下目标：

 

1. 通过初始设置创建试验，建立假说，记录验证该假说的方法。

2. 将试验披露给 Pinners ，增加新群组和禁用组，通过筛选器来优化用户。

3. 结束试验时，将代码提交给所有的 Pinners ，或者回滚代码并记录试验结果（根据试验结果决定提交新代码或回滚）。

 

这个平台非常方便业务和分析团队快速做测试，帮助他们检查规划与假设，查看关键结果，以及触发逻辑，结果验证等。

 

关于作者：彭耀，象形科技联合创始人兼CTO，典型的产品型和技术型管理者。资深的大数据专家、人工智能专家和产品专家，有近20年的开发和产品经验。

本文摘编自《升维：争夺产品认知高地的战争》，经出版方授权发布。

 

延伸阅读《升维：争夺产品认知高地的战争》

点击上图了解及购买

转载请联系微信：togo-maruko

 

推荐语：产品型管理者和创业者必读书，从认知格局、体系和方法论三个层面为升维产品认知提供科学指导。从100余位世界高级产品型创始人和管理者的产品认知中总结出1幅全景认知画布、5大认知升维工具，9大类40项高维认知，200个精彩产品案例。

 

 

我们正在绘制一份大数据粉丝画像——

2019大数据粉丝有奖调查问卷上线了

欢迎长按二维码填写

我们每周一将从参与者中

随机抽取3名幸运小伙伴

每位将获赠近期出版的技术类图书1本

 

猜你想看

 

• 干货：4个小技巧助你搞定缺失、混乱的数据（附实例代码）

• NumPy入门攻略：手把手带你玩转这款强大的数据分析和计算工具

• 谷歌最新开源前端框架了解一下？前端小白都能看懂的8本书

• 入门科普：一文看懂机器学习3种类型的概念、根本差别及应用

 

 

Q: 你都在哪些项目中应用过A/B测试？

欢迎留言与大家分享

觉得不错，请把这篇文章分享给你的朋友

转载 / 投稿请联系：[email protected]

更多精彩，请在后台点击“历史文章”查看

点击阅读原文，了解更多